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广义 线性 模型 在 自然 科学 、 社 会 科学 的 各 个 领域 有 着 广泛 的 用 途 ， 
同时 在 数据 观测 或 调查 的 过 程 中 ， 有 时 难免 出 现 缺 失 数据 或 者 不 完全 信 
息 . 在 本 著作 中 , 我 们 主要 研究 自然 联系 函数 情形 下 带 有 不 完全 信息 随 
机 截 尾 的 广义 线性 模型 参数 的 极 大 似 然 估 计 的 存在 性 、 相 合 性 、 渐 近 正 
态 性 、 重 对 数 律 、Chung 型 重 对 数 律 及 中 偏差 . 这 些 优良 性 质 是 对 所 建 模 
型 能 够 得 到 合理 运用 的 必要 保障 . 

在 实际 应 用 中 , 特别 是 在 医药 学 和 社会 科学 中 , 广义 线性 模型 的 
归 变 量 常常 是 随机 的 ， 所 以 , Fahrmei 考 虑 了 回归 变量 Xi, Xo, 是 某 个 
随机 和 矩阵 的 独立 同 分 布 的 情况 , 在 一 定 的 条 件 下 ,不 加 证 明 地 给 出 了 此 
种 模型 的 参数 矩阵 的 极 大 似 然 估 计 的 大 样本 性 质 . 然而 , 在 实际 中 , 独 
立 同 分 布 的 情形 有 时 也 是 不 太 贴切 的 . 例如 , 在 医药 学 和 社会 科学 的 研 
究 中 , 数据 可 能 来 自 不 同 的 人 群 、 时 间 和 地 点 , 因而 , 数据 的 分 布 是 不 同 
的 . 鉴于 此 , 丁 洁 丽 和 陈 希 到 于 2005 年 对 上 述 情形 进行 了 改进 , 得 到 并 
证 明了 回归 变量 不 同 分 布 情形 下 广义 线性 模型 参数 的 极 大 似 然 估计 的 相 
合 性 和 渐 近 正 态 性 . 在 本 著作 中 , 我 们 借鉴 丁 洁 丽 和 陈 希 矣 的 思想 和 方 
法 , 得 到 并 证 明了 回归 变量 不 同 分 布 情形 下 带 有 不 完全 信息 随机 截 尾 的 
广义 线性 模型 参数 的 极 大 似 然 估计 的 相合 性 、 渐 近 正 态 性 和 重 对 数 律 . 

历史 上 还 有 许多 研究 者 致力 于 拓展 广义 线性 模型 的 应 用 , 起 初 只 局 
限于 响应 变量 服从 指数 型 分 布 族 的 情形 . 1974 年 , Wedderburn 提出 拟 似 
然 函 数 的 概念 ,可 以 在 建 模 时 只 要 求 关 于 响应 变量 的 数学 期 望 函数 和 协 
方差 函数 的 正确 设 定 , 而 不 必要 求 响 应 变量 的 分 布 为 指数 分 布 类 型 . 后 
续 的 研究 表明 ,在 方差 函数 不 确 知 ,但 对 期 望 有 正确 设 定 的 情况 下 , 这 
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种 方法 仍 可 适用 . 这 种 方法 称 为 拟 似 然 法 . 由 其 所 得 的 估计 ， 则 称 为 拟 
似 然 估计 . HERA AMR f, 赵 林 城 和 尹 长 明 分 别 于 2004 年 与 2005 年 在 一 
定 的 条 件 下 , 给 出 了 广义 线性 模型 的 未 知 参数 向 量 8 的 拟 极 大 似 然 估 计 
Ên, 及 其 强 相合 性 和 渐 近 正 态 性 . 陈 夏 和 陈 希 也 于 2005 年 给 出 了 广义 线 
性 模型 参数 的 自 适应 拟 似 然 估计 . 在 本 著作 中 , DRITTE S IURIS TR T. 
作 的 基础 上 , 讨论 拟 极 大 似 然 估计 Ân 的 重 对 数 律 和 Chung 型 重 对 数 律 

历史 上 也 有 学 者 研究 一 些 模型 的 参数 的 极 大 似 然 估计 的 中 偏差 原理 
这 是 极 大 似 然 估计 的 又 一 个 很 有 意义 的 大 样本 性 质 . (X k 1) 是 
一 个 独立 不 必 同 分 布 的 随机 变量 序列 ， 且 在 空间 R 中 取 值 , 同时 具有 分 
布 函数 有 (x,9), 其 中 96€ 0, 且 参 数 空间 OCR. 0 的 极 大 似 然 估 计 
(MLE) 被 记 为 入 = Oy (X1. Xo. Xn). 极 大 似 然 估计 Ôn 的 强 相合 性 于 
1976 年 为 Chao M. T. 所 研究 ,其 渐 近 正 态 性 于 1971 年 为 Hoadley 所 研究 
对 于 独立 同 分 布 情形 的 极 大 似 然 估 计 Ôn 的 中 偏差 原理 于 2001 年 为 高 付 
清 所 研究 . 在 本 著作 中 , 我们 讨论 独立 不 必 同 分 布 情形 下 单 参数 9 的 极 
大 似 然 估 计 包 的 中 偏差 原理 . 我 们 的 结果 是 高 付 清 的 结果 的 一 个 推广 . 
由 于 不 完全 信息 随机 截 尾 的 广义 线性 模型 是 独立 不 必 同 分 布 的 一 个 特殊 
情形 , 在 本 著作 中 , 我 们 就 将 它 作为 一 个 例子 给 出 . 

在 本 著作 的 写作 过 程 中 , 我 们 尽量 对 建 模 所 加 的 条 件 的 合理 性 进行 
解释 , 尽量 给 出 我 们 提出 问题 的 背景 ,也 尽量 将 我 们 用 来 解决 问题 的 方 
法 同 相关 文献 解决 问题 的 方法 进行 比较 ， 以 体现 我 们 所 做 工作 的 特色 

本 著作 的 出 版 得 到 重庆 理工 大 学 优秀 著作 出 版 基金 的 资助 ， 也 得 到 
武汉 大 学 出 版 社 的 大 力 支 持 , 在 此 致 以 衷心 的 感谢 ! 也 对 关心 和 支持 我 
们 出 版 此 书 的 同行 朋友 致 以 衷心 的 谢意 ! 

由 于 作者 水 平 有 限 , FEZ AbTEBDE SS, alt] ARAB, 
我 们 将 致 以 非常 诚挚 的 感谢 ! 


肖 枝 洪 程 新 跃 
于 重庆 理工 大 学 花溪 校区 
2013 年 3 月 


第 4 章 


4.1 


目录 


准备 工作 

大 数 定 律 和 中 心 极限 定理 
重 对 数 律 与 中 偏差 

基本 工具 

截断 数据 类 型 


不 完全 信息 和 随机 截 尾 的 广义 线性 模型 
广义 线性 模型 介绍 
不 完全 信息 和 随机 截 尾 的 广义 线性 模型 


不 完全 信息 随机 截 尾 广义 线性 模型 的 极 大 似 然 
估计 的 相合 性 与 渐 近 正 态 性 

记号 与 引 理 

不 完全 信息 随机 截 尾 广义 线性 模型 的 极 大 似 然 估 
计 的 相合 性 与 渐 近 正 态 性 


不 完全 信息 随机 截 尾 广义 线性 模型 的 极 大 似 然 
估计 的 重 对 数 律 
若干 条 件 与 记号 


= 
° 
° 
a 


缺失 数据 下 的 广义 线性 模型 


不 完全 信息 随机 截 尾 的 广义 线性 模型 的 重 对 数 律 
与 Chung 型 重 对 数 律 
若干 引 理 及 定理 的 证 明 


随机 回归 变量 情形 下 不 完全 信息 随机 截 尾 广义 
线性 模型 

随机 回归 子 情形 下 的 似 然 函 数 

若干 引 理 

若干 假设 

随机 回归 子 情形 下 随机 截 尾 模型 的 极 大 似 然 估 计 
的 渐 近 性 

具有 随机 回归 子 的 多 维 广义 线性 模型 的 渐 近 性 


非 自然 联系 情形 下 广义 线性 模型 的 拟 极 大 似 然 
估计 

拟 似 然 函数 

拟 极 大 似 然 估计 的 相合 性 与 渐 近 正 态 性 

拟 极 大 似 然 估计 的 重 对 数 律 

自 适应 拟 似 然 估计 


独立 不 同 分 布 情形 的 极 大 似 然 估计 的 中 偏差 
记号 与 准备 

独立 不 同 分 布 情形 下 极 大 似 然 估计 的 中 偏差 

极 大 似 然 估计 的 中 偏差 

不 完全 信息 随机 截 尾 广义 线性 模型 的 极 大 似 然 估 
计 的 中 偏差 


~ 9 SS 


068 
069 


077 
078 
080 
084 


085 
087 


100 
100 
102 
118 
132 


141 
141 
144 
146 


151 


156 


第 7 章 
准备 工作 


为 了 使 本 著作 相对 来 说 具有 一 定 的 封闭 性 ， 也 便于 读者 阅读 ， 我们 
将 后 续 章节 需要 的 概念 和 需要 引证 的 基本 结果 集中 放 在 本 章 . 


1.1 大 数 定律 和 中 心 极限 定理 


因为 本 著作 主要 讨论 极 大 似 然 估计 的 大 样本 性 , 作为 本 著作 的 准备 
工作 , 我 们 首先 介绍 概率 论 的 若干 极限 理论 ， 对 于 概率 空间 的 若干 概念 不 
作 介 绍 ， 有 兴趣 的 读者 可 以 在 稍微 深入 一 点 的 有 关 概 率 论 书籍 中 查阅 到 . 

定义 1.1 设 样本 空间 为 2 = {w : w 为 试验 的 基本 可 能 结果 或 样本 
A), P HENEN 上 的 概率 测度 ，X : 0 一 有 为 随机 变量 . 定义 随机 变 
量 X 的 (累积 ) 分 布 函数 为 

F(x) = P(w: X(w) € x) =P{X € z}, 

其 中 , + 为 任意 的 实数 . 

有 些 教科 书 给 出 分 布 函数 的 定义 为 F(x) = P{X <r} EMRA 
的 定义 为 定义 1. 1 的 形式 . 

类 似 于 定义 1.1, 我 们 可 以 给 出 多 维 随机 向 量 的 分 布 函数 的 定义 : 
设 随机 向 量 X (o) = (Xs (o), Xo(w),-++ ,Xp(w))T € R^, 对 于 任意 的 实 
向 量 z = (zx1,72,… tp)" € R^, 随机 向 量 XX 的 分 布 函数 为 

F(z) = P{w : X(w) < £} = P{X; < zj, j=1.2,..… ,p}. 
定义 1.2 对 于 分 布 函 数列 {F(z)}, 如 果 存 在 一 个 函数 F(z) 使 
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Jim F,(z) = F(z) 在 F(x) 的 每 一 连续 点 上 都 成 立 , B. 
Jim Fn( 二 so) = F(+oc), 

WW (F, (c) ) BMF P(x), FRA F(x) 5 F(x). 

定义 1.3 设 随机 变量 X, 和 X 的 分 布 函数 分 别 为 Fale) 和 F(x), 
如 果 F,(a) 号 Flz)， 则 称 随机 变量 序列 {Xn n > 1) 依 分 布 收敛 于 X, 
HUH X, SX. 

定义 1.4 对 于 随机 变量 序列 CX, ) 和 随机 变量 X， 如 果 对 任意 的 
£ > 0, 有 

im P{w :|X,(w) — X(w) > e) = ,lim P(|X, -X|>e}=0 
成 立 ， 则 称 {Xn} 依 概率 收敛 于 X, 记 为 X, 5 x. 

定义 1.5 对 于 随机 变量 序列 {X,} 和 随机 变量 X， 如 果 

P{w : lim Xn(w) = X(w)} = PÍ lim x, = x} =1 
成 立 , 或 者 
Jim P [sup |X, A ir e} =0 

成 立 ， 则 称 {Xn} DUPRE X, 记 为 X, SN. 

定义 1.6 设 对 于 随机 变量 X, MX, # E|X,|" < 00, E|X|" < oo, 
其 中 + > 0 为 常数 . 如 果 

Jim E|X,, — X|" = 0 

成 立 ， 则 称 {Xn} f c 阶 矩 收敛 于 X, 记 为 X, SX. 

定义 1.7 VE (X, n >1} 是 随机 变量 序列 , + 

Sn 一 XI 十 X2 十 … 十 Xn- 

如 果 存 在 常数 序列 (a4. n 2 1) fl (b. n > 1), A Jim an =œ, 使 得 对 
于 任意 的 < > 0, EA 


EXE = bn| < Jj =1, 
则 称 随机 变量 序列 {X,. n > 1} 服从 大 数 定律 (或 大 数 法 则 ). 此 处 的 大 
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数 定律 也 叫 弱 大 数 定律 

如 果 令 常 数 序列 b,, n > 1) 中 每 个 b= 8， 把 随机 序列 Yy = Š" 
看 做 8 的 估计 序列 ， 且 ,和 满足 定义 1. 7， 则 称 Ya 为 8 的 能 相合 估 
计 ， 有 时 简称 为 相合 估计 - 

注 相合 估计 是 统计 推断 中 一 个 非常 基本 的 准则 . 其 意思 就 是 说 , 
如 果 从 总 体 中 合理 地 抽取 了 足够 多 个 体 , 得 到 的 统计 量 还 不 能 很 好 地 刻 
画 参 数 的 真实 值 ,那么 说 明 按 照 这 个 方法 构造 的 统计 量 不 合适 

定义 1.8 设 {X,. n > 1) 是 随机 变量 序列 , > 

Sn = Xi + X2 + XS 

如 果 存 在 常数 序列 (an, n>1} 和 {5b,, n > 1, R. „lim an = oc, 使 得 对 
于 任意 的 < > 0, 恒 有 


ef jim |2 -b| = o} =1, 
则 称 随机 变量 序列 {Xn n > 1) 服从 强大 数 定律 (或 强大 数 法 则 ) . 
显然 , 由 定义 1.8 的 条 件 可 以 推出 定义 1.7 的 条 件 ， 当 然 可 以 得 到 定 
义 1.7 的 结论 ， 因 此 定义 1. 8 的 结论 比 定义 1.7 的 结论 更 深刻 . 这 也 是 将 
定义 1. 8 称 为 强大 数 定律 的 缘由 . 
类 似 地 ， 对 应 强大 数 定律 ， 如 果 令 常数 序列 {bn n > 1) 中 每 个 


b, = B, 把 随机 变量 序列 Yn = A 看 做 的 估计 序列 ， 则 称 Y, A B 的 
强 相合 估计 : 
下 面 给 出 一 个 验证 大 数 定律 的 方法 . 


Markov 大 数 定律 ”对 于 随机 变量 序列 {Xn, n > 1), $4 


gvu(3x) 30 (1) 


ees 


成 立 ， 则 对 任意 的 = > 0, HA 


I 1:5 ie 
jim P { u > Xy > EX. 
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证 参见 《概率 论 基础 》 (复旦 大 学 编 ) 第 5 章 中 极限 定理 . 

在 第 7 章 介绍 的 引 理 7. 2. 2 比 此 处 的 Markov 大 数 定律 更 一 般 而 且 结 
论 更 强 ! 

定义 1.9 {Xn n > 1) 是 独立 随机 变量 序列 ， 且 EX, 和 DX, 
均 存 在 . 令 


Xk- > EX, 
Y Var(X) 
k=1 
若 对 任意 的 YE R, 有 


Jim P(Z, <s) = =. exp { - ze. 
则 称 (Xn, n > 1) 服从 中 心 极限 定理 . zL exp { - Chat 为 标准 


正 态 分 布 的 分 布 函数 ， 记 为 B(x). 
以 下 定理 给 出 了 中 心 极限 定理 成 立 的 充 要 条 件 . 


Lindeberg-Feller PORRER 设 {X,, n > 1) 是 独立 随机 变量 序列 ， 
Bit EX, = an fe DX, = 02. 4 B2 = Db, 记 


Z. = 


=F X-a) G,(z) =P(Z, < z). 
n kel 
则 使 得 当 n — co 


E max, 40. G,(z) 5 d(x) 


成 立 的 充 要 条 件 是 Lingdeberg 条 件 成 立 : 对 任意 给 定 的 = > 0, 


Ante) = 5-3 Hi pey a 7 09 dRe) — 0, 


其 中 Fele) 是 X, ican: 
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证 参见 《概率 论 基础 》( 复 旦 大 学 编 ) 第 5 章 中 极限 定理 . 
由 Lindeberg-Feller 中 心 极限 定理 推广 可 以 得 到 下 面 的 中 心 极限 
定理 . 


Lyapunov 中 心 极限 定理 设 {X,. n > 1} 是 独立 随机 变量 序列 ,其 中 至 
少 有 一 个 随机 变量 服从 非 退化 分 布 . 设 对 某 个 5>0， 


E|X,P*5 < oo, n > 1. $ EX, = an DX, — 02, B2 = Y bk, 


k=1 
Fla) = r3 Era) <e}. 
n k=l 
如 果 
D Da — a,** 2 0, 


那么 F,(z) 5 P(x). 
1.2 重 对 数 律 与 中 偏差 


下 面 给 出 概率 极限 理论 中 极为 深刻 的 结果 一 一 重 对 数 律 , 它 是 强大 
数 律 的 精细 化 . 
定义 1.10 (X, n>1} 是 独立 随机 变量 序列 ，EX,, = 0， 
DX, = 02. ë Da = Slob S, = Y Xu Ë 
k=1 k=1 


lim sup Sn (1.2. 1) 


m su VD, log log D, =1 as, 
则 称 随机 变量 序列 (X,. n > 1) 服从 重 对 数 律 . 
显然 , 若 {Xn, n> 1} 满足 (1.2.1), W{-Xn. n > 1) 满足 (1.2. 1)， 
从 而 有 
lin TT EUR MEN 一 一 1 as. (1.2.2) 


noo \/2D, log log Dn 
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下 面 给 出 判定 重 对 数 律 的 准则 . 
Kolmogorov 重 对 数 律 ” 设 {X,, n > 1} 是 独立 随机 变量 序列 , EX, —0, 


Var(X,) = 02. 7% D, = Sot, Sn = s Xy. ED, > oo, LA 
kel k=1 


常数 序列 {Mn} 满足 


D, 
Mn = Lj». [Xol< M, as 
Mace ( loglog x.) IXnl < = 


B] (1.2. D 成 立 . 
Hartman-Wintner BURG ik (X,. n > 1) 是 独立 随机 变量 序列 ， 
EX, =Ú DX, =1, 84 


lim sup: 


Sn tn. 
nce V2nloglogn 


以 上 两 个 定律 的 证 明 参见 [49] p. 106, p. 115. 
定义 1.11 4 Uo. n21) 是 独立 随机 变量 序列 ，EX, —0, 


DX, = 02. W D, = Xt, = Xx 


lim inf. Jloglog Dn max =— às, (1.2.3) 
noo D, 1<i<n x 


y x, i 
则 称 随机 变量 序列 (X,,. n > 1) 服从 Chung 型 重 对 数 律 . 
iË 如果 假设 EX, = 8, 把 S, 看 做 统计 量 , 那么 从 统计 推断 的 观点 
看 , 第 一 个 重 对 数 律 给 出 了 未 知 参 数 p 的 渐 近 意义 上 的 最 小 100% 置信 
区 间 ， 而 第 二 个 重 对 数 律 几乎 必然 给 出 了 估计 量 能 够 达到 的 精确 下 界 . 
定义 1.12 设 随机 变量 X, 和 X 的 期 望 均 为 0, 方差 分 别 为 o2 和 


o, HX, SX. n2 oo B, A(n) — co, "i TELE 
如 果 有 

Sos n) ec 

lim inf " logP{ A(n)( max Xk 一 X) > e} > -a 
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以 及 
" à?(n) "ET ia 
lim sup log Pg [A(n)( min Xk -X)z e} < -50 


no0 mn 


成 立 , 就 称 随机 变量 序列 {Xn n > 1} 具有 中 偏差 性 . 这 类 问题 统称 为 
中 偏差 极限 理论 . 

中 偏差 给 出 了 统计 量 依 分 布 收敛 的 性 质 , 它 比 中 心 极限 定理 更 加 精 
细 地 刻画 了 统计 量 依 分 布 收敛 的 情形 . 


1.3 基本 工具 


本 节 将 后 面 所 需要 的 基本 工具 罗列 在 此 ,以 凸显 后 面 主要 结果 的 论证 . 
定义 1.13 设 ,62,… ,56%,… 为 实 值 随机 变量 序列 . 3$ 6, 5 0, 
则 称 & = op(1); 4$ Ve > 0, 3M. > 0, N > 0, 使 得 n> N it, 
P(l&| < Me} >1— s, 
则 称 £, = Op(1). 


又 设 mimi apo 为 另 一 实 值 随机 变量 序列 . 车 É = 09(1), 
则 称 = oplrma) : 车 fe = O05(1), WEK &, = O,(n.). 
对 于 上 述 定义 有 如 下 性 质 ， 


性 质 (1) 设 & 为 实 值 随机 变量 . 2 €, bE M ç, = O,(1). 
(2) # & = op(1), M & = Op(1). 
(3) o,(6,) = EnOp(1), Op(En) = EnOp(1). 
(4) o,(1) + o,(1) = oy(1), Op(1) + Op(1) = O,(1). 
(5) op(1) -oy(1) = 0p(1), Op(1) - Op(1) = Op (1). 
(6) c+ 0p(1) = op(1), c: O,(1) = O,(1), 其 中 心 为 常数 . 
(7) op(1) + Op(1) = O,(1), Op(1) - op(1) = o,(1). 
(8) op(Op(1)) = op(1), Op(op(1)) = op(1), Op(Op(1)) = O,(1). 
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定义 1.14 BA, = (ai (n)),.. MA = (aij),、, 均 为 随机 矩阵 . 若 
lA, — Al] 30, Bl Ve > 0, 5 n — oo B, P(IIA, — All > z) — 0, 则 称 
A, 5 A, IF |All FRERE 4 D 

类 似 地 ， 有 如 下 定义 : 

定义 1.15 WA, = (oil(m))，、。 为 随机 矩阵 . A A, >O, O 为 相 
应 的 零 矩阵 ， 则 称 A, = op(1) : # ve > 0, 3M. > 0, N >0, 使 得 
n> N 时， 

P{||Anl| < Me} > 1— s, 

则 称 An = O,(1), FEF || A| TRÓBEE A 的 范 数 . 

对 于 随机 和 矩阵 序列 ， 也 有 上 述 性 质 ,在 此 不 作 叙 述 有 兴趣 的 读者 
可 以 参看 文献 C63]. 

下 面 给 出 本 书后 面 将 要 用 到 的 引 理 . 
5/32 1. 3. 1 (Borel-Cantelli 引 理 ) 设 事件 列 Ay. A». € E(F HX). 

G) 如 果 
Y P(A,) < cc， 

MJ P(An, Lo.) 20 RZ, 其 中 (A,, Lo.) 意 指 有 无 穷 多 个 A, 发 

生 ; 或 者 P( lm An) = 0 成 立 , 其 中 Tm An 意 指 有 无 穷 多 个 A, 

XA. 

Gi) 如 果 
X P(A,) = 00, 
HLA), An 相互 独立 ， 则 P( Tm An) 二 1 成 立 . 


证 参见 01va Kallenberg 所 著 的 Foundations of Modern Probability. 


对 任意 的 随机 变量 X, 记 X° = X - I(IX| < c), HPI (|X| < c) sits 
足 :车 |X|< c, WJ I(|X| < c)=1; FW (|X| < c) = 0. 
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引 理 1.3.2 (三 级 数 定理 ) ” 设 (X, 是 独立 随机 变量 序列 ， 那么 使 得 级 
数 Y Xk as. 收 全 的 必要 条 件 是 : 对 每 一 cE (0,00), 有 


k=1 


G) X P(|X,| > e) < 00: 
k=1 


°° 
Gi) Y EX 收效 ; 
k=1 
~ 
Gii) Y VarX8E < oc. 
k=1 


充分 条 件 是 对 某 一 cE (0,00), 上 述 三 级 数 收效 . 


证 参见 [49] p. 89 定理 2.3. 


引 理 1. 3. 3 设 和 ,52,… ,8n 为 相互 独立 随机 变量 , EE; =0. 1<i<n. 
记 B, = Y Var(6i), D, = 》 Ele,|2*%, ee (0,1). 36 €, 的 分 布 函 
i=1 i=l 
HA Fy (c), 标准 正 态 分 布 N (0,1) 的 分 布 函数 为 D). FB, 0, 
D, € oo, MAT 


sup |F,(z) - (x)| < — 
r B 
其 中 ，C 不 依赖 于 n. 
证 见 文献 [58] p. 155. 口 


引 理 1.3.4 (Bernstein 不 等 式 ) 设 &1,52..… .6 为 相互 独立 随机 变量 ， 
EG =0. 1 < i<n. 若 存 在 常数 使 得 |5;| < b. 1 < i < n, 则 对 任 
何 =>0, 有 


1 — ne? 
Pili Zel = e} = rem [- 3 o) 


= _ 1 
其 中 , = w 2 Vel: 


证 见 文献 [4]. 口 
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引 理 1.3.5 ité, é- ,所 为 相互 独立 随机 变量 ，E5i = 0. 1<i<n, 
五 > 2. 则 有 


E| El «cw y Els, 
i=1 i=l 
其 中 , C 和 nn 与 &i, 1< i < n 624 XX. 
特别 ， 若 sp < CP, m E| Lel < CnPl?, 


证 见 文献 [67] p. 154. 


5|38 1.3.6 (Kronecker 5|38) ik {an} fe {rn} 是 两 实数 序列 ,an > 0 


ES 
AL lim a, = oo, 
no0 


n-l 


En ~_ le 
一 kak, WJ Bie =0. 


an 


n-1 


证 a =0, EXm=0 y=, n > 2. W 
imp “ 


zi 


yn Y= 0.3.1) 


Td 
i=1 ° 
n-1 


E 1 
th = Yo (yess — ye) = yn+1 — = Darr = ar)yeri. 
We r k=l 


(1. 3. 2) 
由 (1.3.1) 知 ,对 任意 给 定 的 。>0, ff fE no, 33 n>n 时 ， 有 
lys — yl < e 从 而 有 I 


1 
P aca = au — y 
? k=l 


n 


= = oca — ar) (yk — »| 


? k=l 


1 
< | 一 Y (ost 一 ak)(W 一 »| 


a, 
Nn k=1 


"ELS + mol 


an 


由 上 式 易 知 ， 


10 


第 1 章 准备 工作 


n—l 


Y (aki — ak)ykai > Y- (1.3.3) 
" k=l 


将 (1.3.1) 和 (1.3.3) 代 入 (1.3.2) 即 得 本 引 理 的 结论 . 


引 理 1.3.7 假设 随机 变量 6,6, 相互 独立 ， 其 数学 期 望 均 为 O, B 
满足 


sup E(|6;|1(|6| > N)) +0, N > oc, (1.3.4) 
i>1 
那么 有 


1 
=k Zo, n> o°. 
i=l 


证 Yn>1, Vi > 1, Vó > 0, 我 们 定义 一 组 新 的 随机 变量 : 
nf” = T(E] < ná), +Ë) = EI (El > në). 
BERRA & = n0 + z). & Eu) = ut”). BH EE) = 0, 所 以 , XHE 
意 给 定 的 = > 0, 4 n 被 选择 得 充分 大 时 ， 有 
| < e. (1.3.5) 
iib; = Ele; 有 


nd nó 
(n) 2 y? zl a 
Var(n) = le dF (x) — (ul)? «wf IF. (a) 
< bind, 
这 里 F (2) 28 €, 的 分 布 函数 由 Chebyshev 不 等 式 , 我 们 看 到 


"(Iz em ima = =e: P -um|z»e) 
Y: Var (nl) Shi 
cm 


ne? ET 


E: 


= 


式 中 , b= sup El&;| < oo. 由 一 致 可 积 性 ， 当 n 充分 大 时 , Vi > 1, 有 
i»l 
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[ DICES 从 而 有 
rlzns 
6 
(n) = 1dF;( <5 dF;(z) < —. 
Pao) f Res fled) s È 


此 , 又 有 


[EE 


P( Ute” 40}) < TP £0} <ó. (1.3.6) 
i=1 i=l 
ATH n RAAB, 


SE Zel > ae} = {>| >( (ni =) i”) + nui + 7") > ac} 


TC PIC 
SE (nf um e 3 PL > 2e} 
i-l i=l 


AT (1.3.7) 


这 样 就 证 明了 我 们 所 想 要 的 结果 . 


引 理 1. 3. 8@ 如 果 {Xk, 人 > 1) 是 一 个 独立 的 随机 变量 序列 ， 且 对 5 > 0 


a 
#— Wk 21, 有 下 |XkP+5 < K < oo, S4 S, = 》 Xy, MA 
k=1 
Suc ES LU sa 
n 


证 为 了 记号 的 简便 , W 次 = X,—EX,. BR, 有 EY, = 0 和 
下 | 玖 | < M < co. 我 们 按照 以 下 步骤 完成 本 引 理 的 证 明 : 


CD 这 是 [58] p. 272， 定 理 12, 但 其 证 明 过 程 一 直 没 有 出 现 过 . 这 里 的 证 明 过 程 
是 由 陈 希 至 先生 生前 在 武汉 大 学 讲学 时 所 给 出 的 . 
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第 一 步 
Sefa a) eX RAE sey gem 
第 二 步 , 易 知 
F(E (u <a)) = (Re (Pal >) 
所 以 有 
wee ))-- XR i) 
以 及 
Foe( Maly (H> a) È E <o, 
ways (l LT 
第 三 步 ， 
Eve ("Ë <d) Sek <a) 


此 ,根据 Klomogorov 的 三 级 数 定律 可知 5 E weak. 进而 ， 
k=1 


由 Kronecker 引 理 得 到 E » Y, 一 0 几乎 处 处 收敛 . 
kei 


9138 1.3.9 ité En o MA E 3k 3 RS AE €, C1,c2,… yee 
为 一 列 常数 且 c, L0. 若 对 任意 数列 dl.az,…… ay.) An T oo, 有 
En = O(ancn) a.s., 8] En = O(cn) a.s. 


XE 证 明 引 理 1.3. 9 等 价 于 证 明 如 下 结论 ( 引 理 1. 3. 9 的 逆 否 命题 ) 
成 立 : 
ALG, n 二 1} 为 定义 在 概率 空间 (O. S.P) 上 的 一 列 随 机 变量 . x 
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lim sup |&,| = oc as-， 则 存在 一 常数 列 en | 0 使 得 


noc 


lim sup €,,|€,| = oc a.s. 
n= 


为 证 明 上 述 结论 , Wm = max&. Wom tooas. W Anm = 
{w: mlw) > m), 则 Jim P(Anm) = 1. EB e > 0, Kn, 使 得 


P(Anmm) >1— PE i €f 


4c = m-1⁄2, nm Si < mai, m = 1.2,---, W 
+ 


ë 
Entin(w) 2 Vm. Ve € A= (^ Aum n > nm- 


m=1 


因此 , Yw € A, entin(w) > oo, H P(A) > 1 — e. 

取 上 述 = = NW}, 以 Ay 记 上 面 定义 的 集合 4, 以 {ew n > 1) 42 
上 述 定义 出 的 序列 en 记 dy; = Bax eje pul lim ðv; = 0. 因此 存在 
Cn, C < C2<…， 使 得 ON; < NO, 对 i> Cy. 定义 5 = N-1, 
Cy Si <Csxx+, N 2 1, W lim ó, =0. fB ó, > ôni, Afi, “4 i> oo 


时 , Vw € A= UJ Av, RP(A) = 1, 有 sini(w) — oo. 
N=1 


现在 证 明 对 任何 w € A, limsup &;|£iw)| = co. 否则 ， 对 某 个 
wEAURM «oo, H ó,|&,(e:)| < M. i2 1. WR ty, 1 < ts < N, 
满足 

MES max, [&(w)| = nw), 
W ox nv (o) < bry |Ey(w)| < M, 而 dw > dey, 这 与 nnw) > oo FH 
盾 . 故 本 引 理 得 证 . 
引 理 1.3.10. ik S.S... ,6 为 相互 独立 随机 变量 , EG = 0, 1 < i < n. 


3% B, = Y Var(6) D, = Y EIGI? H, ee [0.1]. 356,625 BA 
i=1 i=l 


78 F, (c), 标准 正 态 分 布 N(0, 1) 的 分 布 函 数 为 (I). EHE > 0 有 
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(i) Ba > o; 


Gi) Pra 


Gii) sup|F,(z) — é(z)| = O(log B; 0**)), 


ah 


3 let) 
则 limsup 一 -二 一 一 一 二 1 a.s., 以 及 
n V2B, loglog Bn 
x 


Dr > leito] > VQ + e)B, Tog Tox Ba} <œ, Va > 0. 


n=1 i=l 


iE 见 文献 [58] p.305. 
引 理 1.3.11 téén ,én 为 相互 独立 随机 变量 , EG =0, 1<i<n, 
且 对 某 个 万 > 2, 有 supElE;|? < oo, WJ 
这 1 
| 
izi 


v/n(log n)!/?(log log n)?/? 


—0 as. 


引 理 1.3.12 (Lebesgue 控制 收敛 定理 ) it X, 5 X. 若 随 机 变量 
Y € Ly t£5$|X,| < |Y] a.s. (n > 1, MAXa X € Li E X, JA X. 
这 时 有 EX, > EX. 
控制 收敛 定理 在 处 理 极限 与 积分 、 求 导 与 积分 交换 顺序 等 方面 有 着 

非常 广泛 的 用 途 . 后 文 许多 结论 的 证 明 需 要 用 到 控制 收敛 定理 , 这 也 是 

我 们 对 测度 论 知识 的 一 种 实际 运用 . 


1.4 截断 数据 类 型 
截断 数据 (Censored Data) 问题 在 实际 生活 中 随处 可 见 . 通常 把 用 来 


处 理 与 寿命 有 关 的 问题 广义 地 称 为 生存 分 析 (Survival Analysis). GE 
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构成 数理 统计 的 一 个 分 支 , 在 20 世纪 70 年 代 中 期 得 到 迅速 发 展 ，1986 
年 美国 国家 科学 院 把 它 列 为 数学 的 六 大 发 展 方向 之 一 ( 见 [47])， 至 今 也 
是 很 热门 的 统计 研究 课题 ， 研 究 论文 如 [8], [6], [10], [95], [60] 也 是 涉 
及 各 个 方面 . 下 面 通过 实际 例子 加 以 说 明 . 

Censor 一 词 原来 是 审查 、 删 改 (新 闻 、 书 刊 、 电 影 等 ) 的 意思 , 近 30 
年 来 广泛 地 出 现在 统计 学 中 . 我 们 经 常 遇 到 这 样 的 一 些 数据 : 冰箱 在 长 
达 10 年 的 使 用 中 没有 损坏 ;手机 通话 在 受到 干扰 前 而 无 法 听 清 已 经 持续 
了 5 分钟 ; 经 过 放射 治疗 的 病人 在 9 月 15 日 前 还 没有 明显 好 转 ; 电扇 从 
今天 上 午 7 点 到 目前 已 经 出 现 了 3 次 故障 等 . 这 些 数据 的 共同 特点 是 : 我 
们 不 知道 各 自 的 确切 值 , 但 知道 大 于 或 等 于 某 个 数 , 它们 是 由 于 某 种 原 
因 被 截断 了 . 具体 来 说 , 对 于 上 述 例子 仅仅 知道 的 信息 是 : 冰箱 的 寿命 
大 于 10 年 , 手机 的 信号 持续 了 5 分 钟 …… 怎样 在 统计 中 利用 这 种 信息 
呢 ? 这 就 是 截断 数据 分 析 所 要 解决 的 问题 . 

从 某 种 意义 上 来 讲 ， 有 一 种 统计 问题 就 有 一 种 相应 的 截断 数据 问 
题 ; 从 实际 意义 来 看 ， 后 者 更 符合 实际 情况 , 其 实际 意义 更 强 . 下 面 以 实 
际 问题 作为 代表 列 出 不 同 的 截断 数据 的 情形 . 

例 1.1 某 医 院 研究 一 种 特效 药 (或 手术 ) 对 患者 生命 的 影响 . 这 些 
病人 可 以 在 不 同 的 时 间 进 入 该 药物 的 治疗 研究 , 一 旦 进入 了 研究 之 后 ， 
也 有 种 种 可 能 中 途 离开 , 造成 了 截断 数据 . 这 主要 表现 在 : 

0) 病人 由 于 搬家 等 原因 不 再 到 此 医院 看 病 ， 以 致 研究 人 员 再 也 了 
解 不 到 情况 . 

(2) 由 于 疗效 不 甚 理想 ， 病 人 觉得 没有 必要 继续 进行 该 药物 治疗 ， 
或 者 由 于 病人 的 体质 关系 有 较 强 烈 的 副作用 而 不 得 不 中 止 . 

(3) 整个 治疗 计划 结束 . 

图 1-1 为 实验 数据 示意 图 . 图 1-1 表 示 5 个 病人 的 情况 . 横 坐 标 是 日 
期 ，“。” 表 示 死 亡 , “x” 表 示 出 于 以 上 三 种 原因 而 “不 知 所 终 ”， 但 
至 少 在 “此 时 此 刻 ” 还 活着 . 不 失 一 般 性 , 把 图 1-1 的 起 始点 平移 到 一 
起 ,也 就 是 认为 他 们 同时 进入 研究 . 不 禁 会 问 : 进行 这 种 治疗 , 病人 的 寿 
命 分 布 情况 如 何 ? 与 那些 患 有 此 种 疾病 但 没有 服用 此 种 特效 药 的 病人 相 
比 (也 有 相应 的 图 1-1), 寿命 是 否 有 延长 呢 ? 
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Emi. y 
6H 1H 8H 9H c | 生存 时 间 / 
图 1-1 生存 数据 


例 1.2 在 线性 模型 y; — a+pzi+si(i=12……,m) 中 , o, 8 Æ 
BY, ci 是 相互 独立 的 随机 变量 , 满足 Es; = 0，Es? < co，{zi} 是 一 串 
定 的 回归 设计 . 在 通常 情形 下 , 我 们 可 以 用 最 小 二 乘法 (Least Square) 
估计 出 o, 8, 如 图 1-2(1) Pras. 如 果 y; 受到 一 组 与 之 独立 的 随机 变量 
ie 的 干扰 ,使 得 v, 不 能 被 观测 到 ， 而 观测 到 的 是 (zi,6;)， 其 中 

= min(y,ti), 6 = I(y €t) Gh yi < ti Bf, ó = 1: 23 yi> ti Bf, 
6; — 0). 也 就 是 说 ,只 能 观测 到 y; 与 ;中 较 小 的 一 个 ,以 及 知道 这 个 数 

据 是 否 被 截断 . 这 样 图 1-2(1) 中 的 3 个 “。” 就 被 图 1-2(2) 中 的 3 个 
*x" Bret. 


y xy, 
vil 
P 
z” 
, 
M. a 
zx 2 
Ae] 
o > Q z 
(1) (2) 
图 1-2 回归 分 析 图 


现在 要 问 : 这 时 如 何 得 到 o, B 的 估计 值 ? 这 种 截断 称 为 随机 截断 或 
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随机 删 失 (Random Censorship). 首先 我 们 不 能 用 3 个 “。” 和 3 个 “x?” 
一 起 直接 作 线性 回归 ,因为 3 个 “x” 并 不 是 真实 值 ， 如 此 得 到 的 回归 直 
线 I 显然 位 置 偏 低 失 实 . 其 次 , 我 们 也 不 能 抛弃 3 个 “x” 而 只 用 3 个 
“。” 作 回归 直线 LI, 这 样 不 仅 会 因为 不 用 3 个 “x” 的 数据 损失 了 大 量 
的 信息 , 而 且 做 出 的 回归 分 析 是 在 条 件 y; < t; 下 得 到 的 , 与 原意 不 合 
总 之 , 对 3 个 “x” 不 可 取 , 也 不 可 弃 , 要 采用 新 方法 建立 模型 

例 1.3 某 电子 元 件 厂 改进 工艺 研制 了 一 批 新 的 电子 元 件 ， 为 了 测 
定 这 批 电子 元 件 的 平均 寿命 , 随机 抽取 了 20 只 电子 元 件 做 寿命 试验 . 假 
设 已 知 改进 工艺 前 ， 电 子 元 件 的 平均 寿命 为 1000 小 时 . 由 于 试验 条 件 的 
限制 ， 这 个 试验 的 持续 时 间 不 能 超过 2000 小 时 . 图 1-3 是 实验 结果 , 其 
中 “。” 表 示 电 子 元 件 损坏 时 的 时 间 , “x” 表 示 电 子 元 件 在 2000 小 时 时 
仍 未 损坏 但 必须 结束 试验 . 从 图 1-3 可 以 看 到 , 第 3, 5, 9, 13, 15, 17, 19 
号 电子 元 件 的 寿命 超过 了 2000 小 时 , 但 其 寿命 究竟 是 多 少 不 得 而 知 . 它 
们 被 2000 小 时 这 个 界线 截断 ， 这 种 截断 方式 称 为 第 一 类 截断 (Type I 
Censoring) 或 定时 截断 . 


寿 
?| 
D 


2000 


1000 | | 
5 13 15 17 19 


1 3 5 7 9 u 


元 件 编号 
图 1-3 定时 截断 


现在 要 问 : 改进 工艺 后 ， 电 子 元 件 厂 的 元 件 平均 寿命 u 是 多 少 呢 ? 
如 果 抛弃 那些 截断 数据 ,寿命 平均 值 的 估计 显然 会 偏 小 , 同时 白白 花费 
TAR. 那么 ， 又 如 何 来 利用 这 些 数据 呢 ? 从 假设 检验 的 角度 来 看 ,我 
们 要 问 : 
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Ho: #=1500 vs. Hi: p< 1500 
是 否 成 立 ? 

有 时 , 我们 取消 2000 小 时 这 个 界线 , 而 事先 确定 一 个 小 于 20 的 正 整 
Hin, hin = 7, 然后 开始 试验 , 直至 发 生 7 个 元 件 损坏 而 停止 试验 
这 种 截断 方式 称 为 第 二 类 截断 (Type II Censoring) 或 定数 截断 

fi 1.4. 某 农业 研究 所 为 了 比较 4 种 不 同 的 土质 A, (i = 1,2,3.4) 
对 某 农作物 产量 的 影响 而 进行 方差 分 析 . 对 每 一 种 土质 4; 在 4 个 不 同 
的 地 区 Fj (j = 1.2.3.4) 各 选择 一 块 土地 进行 试验 , 通过 比较 产量 xij 
来 确定 这 种 影响 . 当 农 作物 尚未 成 熟 时 , 就 做 了 产量 估计 ,如 表 1-1 (a) 
所 示 . 

可 是 正当 农作物 成 熟 时 ， 由 于 受到 冰雹 的 突然 袭击 ，z13 的 实际 数 
值 将 为 82; 由 于 受到 虫害 的 严重 影响 ，z3s 的 实际 数值 将 为 91; 其 余 与 
估计 值 符合 得 很 好 ， 如 表 1-1 (b) Bron. 

现在 要 问 : 怎样 根 据 表 1-1(b) 做 方差 分 析 呢 ? K 1-1(a) 的 参考 价 
值 如 何 呢 ? 


表 1-1 农作物 产量 预 估 值 和 实际 值 


(a) 收获 量 (zj) | 土质 种 类 | (b) 收获 量 (5) 
A; 190 190 190 160 Ai | 201 189 82* 158 
Ag 160 160 150 130 A; | 151 162 148 123 


170 160 180 170 A3 165 155 91* 169 


190 170 170 180 187 179 171 175 

例 1.5 某 化 妆 品 公司 为 了 推销 一 种 新 产品 , 进行 了 “顾客 爱好 实 
Je", 以 了 解 这 一 新 产品 受 欢 迎 的 程度 .随机 地 向 1000 名 顾客 发 了 “您 
喜 不 喜欢 它 ” 的 问答 题 ， 征 求 顾 客 的 意见 ， 最 后 收 到 800 HEA, 其 中 


650 封 表示 喜欢 , 150 封 表示 不 喜欢 .现在 要 问 : 是 否 有 E: 的 顾客 会 喜 


欢 这 种 新 产品 呢 ? 
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事实 上 , 这 一 信息 只 是 从 收 到 的 800 封 信 中 得 到 的 , 而 发 出 的 1000 
封 信 中 有 200 封 没有 被 人 理 坚 . 广义 地 说 这 也 是 一 种 截断 方式 , 只 是 难 
以 处 理 . 如 果 对 这 200 位 “没有 回应 ”的 顾客 作 进 一 步调 查 ,可 能 会 发 
I: 有 些 人 对 此 化 妆 品 根本 就 没有 兴趣 , DAM: 有 些 人 因为 工作 繁 
忙 而 无 暇 顾及 ;有 些 人 则 认为 化 妆 品 公司 要 求 顾 客 义务 回信 的 方式 不 对 ， 
应 该 有 所 报酬 等 . 

从 上 面 的 例子 看 ， 处 理 截断 数据 的 问题 在 实际 中 经 常会 遇 到 ， 其 中 
一 些 例子 现在 还 没有 令 人 满意 的 解法 . 从 截断 的 方式 来 讲 ， 目 前 统计 上 
比较 好 处 理 的 也 只 是 第 一 类 截断 、 第 二 类 截断 和 随机 截断 三 种 . 前 两 种 
来 自 于 工程 技术 方面 . 例如 工程 师 要 对 某 元 件 做 寿命 试验 . 事先 随机 抽 
取 n 件 此 种 元 件 ， 同时 对 这 n 件 元 件 进行 毁坏 性 试验 ,但 不 希望 无 休 无 
止 地 等 待 下 去 直至 所 有 受 试 样品 全 部 毁坏 . 因为 其 中 可 能 有 个 别 元 件 寿 
命 特别 长 , 这 将 花费 太 多 的 人 力 、 物力 ,所 以 需要 事先 确定 一 个 界线 或 
者 毁坏 比率 ， 以 便 及 时 结束 试验 . 随机 截断 最 初 来 自 于 生物 学 试验 , d 
断 随机 变量 与 被 截断 随机 变量 之 间 的 独立 性 仅 是 一 种 假定 ， 有 时 并 不 成 
3, 只 是 数学 上 容易 处 理 . 比如 , 例 1. 1 中 如 果 病 人 是 由 于 药物 本 身 的 作 
用 使 他 们 离开 治疗 , 应 该 看 做 两 者 之 间 是 不 独立 的 . 另外 ， 从 时 间 的 延 
伸 来 看 ， 这 个 问题 又 是 右 截断 . 因为 至 此 , 病人 都 还 活着 , 也 就 是 说 知道 
他 们 的 寿命 大 于 某 个 数 . 实际 中 , 还 可 能 遇 到 另 一 种 截断 ,我 们 虽然 不 
知道 个 体 的 确切 寿命 , 但 知道 它 小 于 某 个 数 . 这 种 截断 又 称 为 左 截断 . 

总 之 , 由 于 截断 的 引进 , 统计 的 内 容 与 方法 更 加 丰富 起 来 . 近年 来 ， 
生存 分 析 获 得 了 很 大 的 进展 . 如 Kaplan-Meier 估计 、Cox 模型 、Aalen 
模型 在 理论 与 应 用 上 都 取得 了 大 量 成 果 . 本 著作 将 把 随机 截断 数据 与 用 
途 非常 广泛 的 广义 线性 模型 结合 起 来 进行 讨论 ， 其 结果 是 著作 者 和 其 他 
同仁 近 几 年 的 研究 成 果 , 为 有 兴趣 的 读者 抛砖引玉 . 
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第 2 章 
不 完全 信息 和 随机 截 尾 的 广义 线 
性 模型 


本 章 主要 根据 实际 问题 介绍 广义 线性 模型 的 建 模 ， 以 及 如 何 将 它 与 
不 完全 信息 和 随机 截断 数据 结合 起 来 建立 模型 ,而 对 于 模型 进行 统计 推 
断 的 问题 将 在 下 一 章 进行 研究 . 

所 谓 建 模 ,无 非 是 对 问题 的 统计 总 体 的 概率 性 质 的 一 种 刻画 或 规定 . 
这 种 规定 可 以 很 细 ， 如 给 出 分 布 的 具体 形式 ;也 可 以 很 粗 ， 如 规定 其 均 
值 或 均值 与 方差 的 形式 ， 本 章 将 按 第 一 种 规定 来 考虑 ， 第 6 章 将 按 第 二 
种 规定 来 考虑 . 


21 广义 线性 模型 介绍 


形式 上 , 广义 线性 模型 (Generalized Linear Mode1) 是 常见 的 正 态 线 
性 模型 的 直接 推广 . 它 既 可 适用 于 连续 数据 BI， 又 可 适用 于 离散 数据 
[1].(65).(2].{61].[93], 特别 是 后 者 , 如 属性 数据 、 计 数 数据 . 这 在 实用 上 , 尤其 
是 生物 、 医 学 和 经 济 、 社 会 数据 371B9jfao 的 统计 分 析 上 ， 有 重要 的 意义 . 

广义 线性 模型 的 个 别 特例 起 源 很 早 . Fisher 在 1919 年 使 用 过 它 , 最 
重要 的 logistic BiU?! 在 20 世纪 四 五 十 年 代 曾 由 Berkson, Dyke 和 
Partterson 等 人 使 用 过 . 1972 年 Nelder 和 Wedderburn[5g] 在 一 篇 论文 中 
引进 广义 线性 模型 一 词 . 自 那 前 后 研究 工作 逐渐 增加 , 研究 论文 数 以 千 
Wr. 目前 ， 这 个 方面 的 研究 仍 十 分 活跃 . 
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2.1.1 一 维 广义 线性 模型 

首先 考虑 通常 的 线性 模型 (Ordinary Linear Regression Model). ix 
有 因 变 量 Ye 及 ， 自 变量 z e Rr, 具有 以 下 关系 : 

(D EY = p= Z'(z)- B, 其 中 2Z(z) 可 以 是 z 的 函数 或 向 量 值 函 
数 视 B 而 定 . 简 记 Z(z) 为 >，2ZT(z) 表示 Z(z) 的 转 置 . 

注 线性 模型 指 的 是 关于 B 的 线性 性 . 

(2) =, Z(z), Y 都 是 取 连 续 值 的 变量 . 例如 学 生 的 考试 成 绩 、 人 体 身 
高 、 农 作物 产量 等 . 

(3) Y 的 分 布 为 正 态 分 布 或 近似 正 态 分 布 . 

广义 线性 模型 是 将 通常 的 线性 模型 对 应 地 做 以 下 几 个 方面 的 推广 : 

Q) EY =p=h(Z"(a)-B), HF h(-) 已 知 , 为 一 严格 单调 充分 光 
滑 的 函数 ，g(") = h71() Ch 的 反 函 数 ) 为 联系 函数 (Link Function): 

9(u) = zT8. 

注 EY 不 一 定 等 于 zB, 可 能 是 zT 的 函数 . 数理 统计 中 有 时 称 
y = ZT(z)- B 为 估计 方程 . 

(2) =, Z(z), Y 可 取 连 续 值 也 可 取 离 散 值 ， 在 应 用 中 更 多 见 的 是 取 
离散 值 . 例如 产品 等 级 、 病 情 的 好 坏 、 交 通 方 式 等 . 

(3) Y 的 分 布 属于 指数 型 分 布 ， 正 态 是 其 一 特例 . 此 处 考虑 的 是 一 
维 指数 型 ， 其 形式 为 


C(y) exp {9y — (8) }du(y), 
其 中 , 0 € 0 (参数 空间 ), 9 称 为 自然 参数 ; b(0) 为 9 的 已 知 函 数 . 这 里 ， 
n) 为 一 测度 (不 是 随机 变量 的 均值 )， 有 如 下 两 种 形式 : 
(D 74 y WEEE, u(y) 为 Lebesgue 测度 : duly) = dy: 


© Sy 为 离散 变量 时 , y 取 有 限 个 值 a1,a2,… ,on 或 可 列 个 值 
aaz: WA p({ai}) = 1, i= 1,2,… ,nn 或 者 i = 1,2,… 
从 而 有 


d 
f eyes (6v - auto) = 1, Q.1.1) 
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其 中 , [c.d] GR (c.d), [c,d), (c. d) ) Ay 的 取 值 区 间 , 其 取 值 区 间 也 可 为 
(—oo. oo), (一 2c,0), (0.oc) : 或 


Y C(ai) exp {a; — b(0)) = 1, (2.1.2) 


其 中 , C(ai) exp (0a; — b(0)) 为 y Bt a; 的 概率 . 

tt (2. 1. 1) BRA (2. 1. 2) 知 ， b(0) = EY = u, XE b(-) 为 b(:) 的 一 阶 
导数 , 即 9 =i" (h(Z(z)78)), 从 而 得 到 广义 线性 模型 如 下 : 

C(y) exp (b Qm y — b(b- (h(Z(z)* B))) } dy(y). 

下 面 通过 几 个 例子 来 看 看 广义 线性 模型 的 应 用 . 

例 2.1 在 医学 上 , 为 了 研究 一 些 因素 ( 自 变 量 ) 对 “剖腹 产后 是 否 
有 感染 ”的 影响 ， 需 要 建立 统计 模型 进行 分 析 . 设 因 变量 为 Y， 自 变量 
为 z = (zl,za,zs)T， 其 取 值 如 下 : 

|: 有 感染 ， 
Y= 


0， 无 感染 ， 

1 痢 腹 前 未 计划 
a-h 剖腹 前 有 计划 

L 服用 抗生素 ， 
lie -k 未 服用 抗生素 


^ 有 危险 因子 (如 高 血压 糖尿 病 等 )， 
T3 = 
0 X. 


iz = P[Y = 1). 则 有 


P(Y =y} = x="(1-— 7) = (1 - =) exp {vlog =}. (2.1.3) 


d ue 
T 


4 0—log 


1 
, 则 1 一 大 = irs ifi (2. 1. 3) 可 写 为 


1-- 


P{Y = y} = exp {y0 — log(1+0%)}. —oo«6«oc. (2.1.4) 


根据 (2.1.2) SN, b(0) = log(1 + e), EY = o. HS Z(z)-z, 
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T. 
EY = h(zT), WJ 0 = log De 为 联系 函数 . 


h(zTB) 
如 果 观 测 了 n 位 产妇 , 第 i 位 的 观测 值 记 为 y;，z 的 观测 值 记 为 
Ti 二 (1ta, xiz, ti3)", 7 和 9 的 值 分 别 记 为 zi 和 6;, i— 1,2, n. 代 


AQ. 1.4), EE (gi. yo. Un) 的 联合 概率 函数 为 
rae E + Ds( (1-A( en). (2.1.5) 


(2.1.5) 就 是 例 2. 1 所 建立 的 统计 模型 ， — Á— 
推断 . 
例 2.2 在 医学 上 , 为 了 研究 两 种 化 学 物质 TNF 与 IFN 对 引发 细 

胞 癌变 的 影响 , 需要 建立 统计 模型 进行 分 析 . 设 自 变量 为 z = (zi, zz)T， 
因 变 量 为 Y， 其 取 值 分 别 为 

= TNF 的 剂量 (0,1,2,…) 

= IFN 的 剂量 (0. 1,2, ---), 

Y = 观测 到 的 细胞 变异 数 (0,1.2,……). 
EA Y 取 非 负 整数 ， TON Poisson 分 布 作 为 Y 的 分 布 : 


P{Y = y) = Lew = jj exp{ylog A - A. ADO. (2.1.6) 
4 0 — log, 则 (2.1. "A 
P(Y-y)- jj elt - e^), -e«6«o. (L7) 


由 于 EY = 入 = NM(zTB)， 故 引进 联系 函数 0(A) = zT8 MO = log h(x"), 
其 中 0 = h-1. 假设 做 了 n KWAR, Y 和 z 对 应 的 第 i 次 观察 值 记 为 y; 
和 zi, MA MO 的 值 分 别 记 为 A 6; 代入 (2.1.7), 得 到 
(n ya. ,yn) 的 联合 概率 函数 为 


(n yat pal)" teo [ushata - Yet) 


i=l 
(2. 1. 8) 
(2. 1. 8) 就 是 例 2.2 所 需要 的 统计 模型 ,然后 据 此 模型 可 以 进行 各 种 统计 
推断 . 
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例 2.3 BY 是 某 种 极 值 ( 水 文 、 地 震 、 材 料 断 裂 强度 之 类 ). 一 般 
采用 Gamma (或 了 ) 分 布 来 描述 Y， 则 有 密度 函数 为 


fili. v) = Tol (y y LIES I(y»0). n>0,v>0, 
(2.1.9) 
rs) = f^ etas. 
Serb (s) [ ea^! da 
由 (2. 1. 9) Ar 
EY = p, van(y) = È. (2.1.10) 
这 里 关心 的 参数 为 u, 而 将 v 看 做 元 余 参 数 . 在 讨论 中 , 元 余 参 数 ( 如 此 
AER v) 看 做 已 知 . 当 它 确实 未 知 时 ， 可 以 用 样本 进行 估计 ,估计 值 代 
入 后 元 余 参 数 视 为 已 知 . 2 0 = 22 WU (2. 1. 9) 可 以 写 为 
Flu.v) = nU exp {0y — (-vlog(-0)) (y >0), =< 0 « 0. 
(2.1.11) 


Wm = (aros up)" WB y 的 自 变量 , z = Z(z). 联系 函数 g, 使 
得 gl1) — z*B, WI u = g^ (2B) = h(z* B), 知 


v 
"h(zTBy 
baia n 次 试验 , 得 到 观测 值 分 别 记 为 yj，z; = Zi(z;)， 以 及 
JU (un. oes yn) 的 联合 密度 函数 为 


0=— 


h(z inal 


v- oy. 3 z 
Iz? ue Y ug * 1g m 


(2. 1. 12) 
(2. 1. 12) 就 是 例 2.3 所 需要 的 统计 模型 ， 然 后 据 此 模型 可 进行 各 种 统计 
推断 . 
注 此 处 1 相应 于 y; 是 可 变 的 , 但 元 余 参 数 v 相应 于 y; 是 不 变 
的 . 
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2.1.2 多 维 广义 线性 模型 
设 目标 变量 (响应 变量 ) y € Borel $ ACR, Hid y = (ngo, 
Yq)". 应 用 上 A 有 两 种 情形 : 
(1) 离散 情形 :A 为 有 限 集 或 可 列 集 . 例如 A = {a1,a2,… ,ao 其 
中 al = (1,0.---.0)7, aj;=(0,… ,1......0)T, j=1,2,.…,g. 
(2) 连续 情形 :A Jg RI 中 的 区 域 , 即 形 如 
A={(ti,to. ,ty): aj < tj < bj, j= 1,2,... ,9} 
之 集 . 而 且 不 等 号 也 可 以 为 等 号 , 开 区 间 也 可 以 为 半 闭 半 开 区 间或 闭 
间 等 . 
多 元 广义 线性 模型 的 第 一 个 要 素 是 y 的 分 布 为 指数 型 分 布 : 
C(y) exp (8"y —b(0)}du(y), 0€ 6, (2.1.13) 
8 = (01.05... - +04)" Aq 维 参数 向 量 . 
多 元 广义 线性 模型 的 第 二 个 要 素 是 联系 函数 . 设 自 变量 z 为 向 量 ， 
它 影响 目标 变量 y 的 取 值 . h z 产生 g x p EBE Z = Z(z). 例如 在 z 的 
多 项 式 回归 中 ,2 包含 z 的 各 个 分 量 的 一 些 血 次 以 及 交叉 乘积 项 等 , 而 
BA p 维 未 知 参数 . 定义 集合 


F= fu: p= nz {ty — b(8)}dy(y), 0 € e), 


区 


(2.1. 14) 
BJ y 的 一 切 期 望 之 集 . 联系 函数 g 是 一 个 定义 于 下 上 且 取 值 于 R 的 充 
分 光滑 的 函数 ， 满 足 条 件 : 

n F m = g(m) # (2). (2.1.15) 

glu) = ZB. (2. 1.16) 

(2. 1. 15) 保证 了 ç 的 反 函数 存在 . 由 马尔 库 夫 什 维 奇 《解析 函数 论 》 第 

1 章 可 知 : HO ARI ZIM, WEF g(B) 上 的 g 的 反 函 数 hh 也 是 同 
阶 光滑 的 . 从 而 由 (2. 1. 16) 有 

n = AZB). (2.1.17) 

由 (2.1.13) 8, b(0) =e, 3X B (C) 为 b() 的 一 阶 偏 导 数 ， 从 而 有 
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6 — bk (h(ZB)), 得 到 模型 如 下 : 
Cly) exp (57! (A(Z8))Ty — bl!(h(ZB))}dn(y). B € B C R”. 

下 面 举例 说 明 如 何 建立 多 维 广义 线性 模型. 

例 2.4 假设 交通 部 门 要 研究 人 们 在 假期 是 否 出 行 以 及 采用 何 种 交 
通 工具 受 哪些 因素 (如 经 济 状况 ， 对 安全 的 重视 ， 即 节省 旅途 时 间 的 重 
视 ， 性 别 ， 担 负 的 工作 性 质 ， 等 等 ) 的 影响 . 目标 变量 y 有 4 个 状态 : 

1. 不 出 行 ，2. 坐 火车 ，3. 坐 汽 车 ，4. 坐 飞机 . 

设 y 表示 出 行 的 状态 ， 则 其 概率 分 布 如 表 2-1 所 示 ， 即 
zo = P(y = (0,0.0)7), m=P{y= (1,0,0)7}, z> = P(y = (0,1,0)"}, 
73 = P(y =(0,0,1)T}, H ro + mi + mə + zs = 1. 于 是 

P{y = (napa) ] = my 277" Il ny, (2.1. 18) 
j=1 


其 中 , y; = 0 或 者 1, HO X yi yo ty < 1. 


# 2-1 出 行 状态 概率 分 布 表 
变量 y 状态 概率 
(0,0,0)" 不 出 行 To 
(1.0,0)™ 坐 火 车 m 
(0. 1,0) | 坐 汽车 | T2 
(0.0, 1)* | 坐 飞机 | T3 


一 般 来 讲 , 经 济 状 况 不 好 者 偏好 状态 1, 其 次 是 状态 2、 状态 3, 不 
利于 状态 4. 重视 安全 因素 者 偏好 状态 1、 状 态 2, 而 不 利于 状态 3、 状 态 
4, 等 等 . 这 表明 对 不 同 的 状态 要 设置 不 同 的 参数 ， 而 不 可 用 一 个 统一 的 
参数 . 设 由 自 变量 z 构造 出 有 关 的 r HA U(x), 并 引入 常数 项 . 则 

“z 对 y 取 状态 7 的 影响 ”应 该 通过 Bo; +17 (x); (j = 1.2.3.4) EX 
ik, 其 中 B; 是 7 维 列 向 量 . 95, Bi 依赖 于 j, 体现 出 = 对 y 的 各 个 状态 
影响 不 一 . 又 由 于 4 个 状态 有 依赖 关系 , KS 
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(1.1T(z)) 0 0 
Z(z) = 0 (1.1T(z)) 0 . WLI 
0 0 (1. IT (z)) 
B = (x. BT. 1. BT. 1. gT)T, (2. 1. 20) 


Z(z) J 3 x 3(r + 1) KARE, B 为 3(r 十 1) 维 向 量 . 


再 令 


Wð = j 21.2.3. MJ 
To 


0 " 1 


j 3^ 
tj = ——————.j21.2.3, zx = ———————. 
1 1+0 +02 + 03 1+) + 05 + 03 


T 
= ke. bel lae Gs] = [Tog EL fog T e) , 
0 = (log 9, . log o. log 3) (vs ZL log T2, log = 


根据 ro = 1 — mi —zə — 73, (2.1.18 4 


exp{0"y — b(0)), 


其 中 y UB (n. y2, ys)", bO) = log(1 + B) + 82 + 43). 记 


w= Ey = (ji. p2, u3)" = (mi, mə, T3)", 


联系 函数 glu) = (91 (u). 92(). 03(4))* = Z(z)8. MRS 


m . 
gi(p) = log t. 1—1,2,3, 


WW 0 = Z(z)B, JES 9 称 为 自然 联系 函数 . 


HAT n FER (yim), i= 1.2…… ..n, B yí = (ya. yiz yis), 对 


应 的 参 向 量 0; = Z(z;)B. 于 是 得 到 (yj,y2,… yn)? 的 联合 概率 函数 为 


if 


面 所 
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H (2. 1. 21) 出 发 , 就 可 以 对 B 进行 估计 和 检验 等 方面 的 统计 推断 . 
广义 线性 模型 的 应 用 例子 可 以 举 出 很 多 ， 有 兴趣 者 可 以 参考 本 书后 
列 文献 . 
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2.2 不 完全 信息 和 随机 截 尾 的 广义 线性 模型 


Elperin 和 Gertsbakbl25] 于 1988 年 在 指数 分 布 情形 下 对 带 有 不 完 
全 信息 的 随机 截 尾 模型 参数 的 极 大 似 然 估 计 进 行 了 讨论 , 并 得 到 了 极 大 
似 然 估计 的 相合 性 以 及 渐 近 正 态 性 的 结果 . 这 篇 文章 开创 了 将 随机 截 尾 
与 不 完全 信息 相 结 合 的 先河 , 接着 有 很 多 学 者 也 开始 这 方面 的 研究 . 宋 
数 军 和 李 朴 喜 [56l 于 2003 年 研究 了 带 有 不 完全 信息 随机 截 尾 模型 的 极 大 
似 然 估计 的 相合 性 和 渐 近 正 态 性 . 朱 强 和 高 付 清 9 于 2008 年 研究 了 带 
有 不 完全 信息 随机 截 尾 模型 的 极 大 似 然 估计 的 重 对 数 律 和 中 偏差. 

在 实际 生活 和 科学 实验 中 ， 广义 线性 模型 、 随 机 截 尾 数据 以 及 不 完 
全 信息 相 结合 的 例子 非常 多 . 例如 , 元件 的 寿命 与 电压 的 波动 、 环 境 温 
度 、 空 气 的 湿度 等 因素 的 关系 就 遵从 广义 线性 模型 的 规律 . 为 了 探讨 这 
个 规律 , 我 们 用 某 种 仪器 监测 被 测试 元 件 的 失效 状态 . 在 试验 过 程 中 ， 
受 试 元 件 如 果 失 效 , 则 以 概率 p (0 < p < 1) 被 仪器 立即 显示 出 来 ,以 概 
率 1 一 p 没有 被 仪器 立即 显示 出 来 , 而 直到 试验 被 中 止 时 才 知 道 其 已 失 
效 , 在 这 种 情形 下 真正 的 失效 时 间 我 们 是 观测 不 到 的 , 这 时 , 我 们 就 以 
试验 中 止 的 时 间作 为 元 件 的 寿命 . 这 就 是 不 完全 信息 的 情形 . 如 果 试 验 
结束 时 还 没有 失效 的 元 件 , 其 真正 的 失效 时 间 我 们 也 是 观测 不 到 的 ， 这 
时 ,我 们 也 以 试验 中 止 的 时 间作 为 元 件 寿命 . 这 就 是 随机 截 尾 情形 . R 
体 表述 为 : 设 表示 第 i 个 受 试 元 件 的 失效 时 间 , n 表示 对 受 试 元 件 随 
机 中 止 试验 的 时 间 , i = 1,2,… ,mw 且 假 设 (5) 与 (n) 相互 独立 . 如 果 
第 i 个 受 试 元 件 在 试验 中 止 时 还 未 显示 失效 , 我 们 就 以 n; 作为 元 件 的 
寿命 ， 如 果 在 中 止 试验 时 间 v; 之 前 元 件 失效 ， 且 受 试 元 件 的 失效 状态 被 
立即 显示 出 来 , 则 其 失效 时 间 7; 就 可 以 被 观测 到 ， 且 将 这 种 能 够 被 观测 
到 的 情形 的 概率 记 为 p; 虽然 受 试 元 件 已 经 失效 , 但 失效 状态 没有 被 立 
即 显示 ,直至 试验 中 止 时 才 发 现 已 失效 , 也 以 试验 中 止 时 的 时 间 n; fE 
为 元 件 的 寿命 . 这 就 是 带 有 不 完全 信息 随机 截 尾 的 广义 线性 模型 的 一 个 
例子 . 
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又 例如 ,对 某 种 病人 进行 某 种 方案 的 治疗 后 , 其 生存 寿命 与 对 其 影 
响 的 相关 因素 (例如 : 性 别 , 职业 , 气候 , 运动 量 等 ) 就 遵从 广义 线性 模 
型 的 规律 . 在 对 这 个 问题 进行 研究 时 ， 其 数据 又 会 出 现下 列 情形 ， 具 体 
表述 如 下 : W Y; 表示 第 i 个 病人 治疗 后 的 生存 寿命 , i = 1,2,… ,n, 治 
疗 后 对 病人 进行 回访 . 又 设 对 第 i 个 病人 回访 时 间 为 Ui {Yi} 与 {U;} 
相互 独立 . 如 果 Y, > U, 治疗 者 以 后 不 再 作 回 访 ,就 认为 病人 生存 寿命 
为 Ui. 这 就 是 随机 截 尾 情形 . 经 过 治疗 后 死亡 的 病人 分 为 两 种 情况 : 一 
种 情况 是 病人 的 死亡 时 间 被 准确 记录 下 来 , 另 一 种 情况 是 由 于 某 种 原因 
其 死亡 的 具体 时 间 没有 被 记录 下 来 , 直到 回访 时 才 知 道 他 已 经 死亡 , DJ 
而 其 真正 的 生存 寿命 Y, 也 是 观测 不 到 的 ， 对 于 这 种 不 完全 信息 的 情形 ， 
治疗 者 也 认为 Y, =U). 在 实际 中 , 设 病人 的 具体 死亡 时 间 以 概率 
1 一 p (0 < p<1) 没 有 被 记录 下 来 . 这 就 是 带 有 不 完全 信息 随机 截 尾 的 
广义 线性 模型 的 另 一 个 例子 . 

对 于 通常 的 具有 不 完全 信息 的 随机 截 尾数 据 ， 当 p=0 时 ， 
Nelson’! 于 1982 年 进行 了 讨论 , 得 到 了 参数 估计 的 渐 近 正 态 性 以 及 相 
合 性 的 结果 . 当 p = 1 mb, REH HIRREN, Lawless! F 
1982 年 得 到 了 参数 估计 的 渐 近 正 态 性 以 及 相合 性 的 结果 ;， 陈 家 易 20 于 
1977 年 讨论 了 定时 截 尾 情形 下 的 最 大 似 然 估 计 ， 陈 家 瞻 Q9] 于 1988 年 讨 
论 了 随机 截 尾 情形 下 的 最 大 似 然 估 计 ， 得 到 了 若干 极限 定理 . 

对 于 通常 的 具有 不 完全 信息 的 随机 截 尾 数据 , 当 0 < p < 工时 , 不 
仅 Elperin 和 Gertsbakb?*l 于 1988 年 在 指数 分 布 情形 下 对 模型 参数 的 
极 大 似 然 估计 进行 了 讨论 ， 并 得 到 了 极 大 似 然 估计 的 渐 近 正 态 性 以 及 相 
合 性 的 结果 ， 而 且 陈 怡 南 和 叶 尔 骅 2 于 1996 年 讨论 了 带 有 不 完全 信息 
的 随机 试验 下 Weibull 分 布 参 数 的 极 大 似 然 估 计 , 杨 纪 龙 和 叶 尔 骅 87] 于 
2000 年 得 到 了 此 模型 参数 的 极 大 似 然 估 计 的 渐 近 正 态 性 和 强 相合 性 的 
结论 ， 宋 毅 军 和 李 补 喜 [56] 于 2003 年 得 到 了 带 有 不 完全 信息 随机 截 尾 试 
验 下 最 大 似 然 估计 的 渐 近 正 态 性 和 强 相合 性 的 结论 . 

Ritovl62] 于 1990 年 讨论 了 带 有 删 失 数 据 的 线性 回归 模型 ， 得 到 了 未 
知 参数 的 极 大 似 然 估计 的 相合 性 与 渐进 正 态 性 的 结果 . 王 启 华 和 郑 忠 
EHI 于 1997 年 讨论 了 随机 删 失 半 参 数 回归 模型 中 估计 的 渐 近 性 质 ; 
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Sundarraman 和 Subramanialó*l 于 2002 年 在 缺失 信息 条 件 下 , 讨论 了 半 
参数 回归 模型 中 估计 的 渐 近 正 态 性 以 及 相合 性 的 结果 . 

通过 历史 的 回顾 , 我 们 可 以 看 到 , 将 带 有 不 完全 信息 的 随机 截 尾数 
据 与 应 用 性 广泛 的 线性 回归 模型 、 半 参数 回归 模型 相 结 合 进行 研究 取得 
了 很 多 成 果 . 在 本 著作 中 , 我 们 将 带 有 不 完全 信息 的 随机 截 尾 数据 与 应 
用 性 更 加 广泛 的 广义 线性 模型 结合 起 来 进行 研究 ,得 到 并 证 明了 不 完全 
信息 的 随机 截 尾 的 广义 线性 模型 的 参数 的 极 大 似 然 估 计 的 相合 性 、 渐 近 
正 态 性 和 重 对 数 律 , 这 些 结果 也 可 以 在 文献 [81], [82] 中 找到 . 

假设 响应 变量 是 Y, 回归 变量 为 z, XX HOY, 是 一 维 的 , 而 
Zi € X C R? 是 列 向 量 , i = 1,2,… ,n. 它们 满足 下 面 的 要 求 : 

(1) 回归 方程 为 

u; = EY; =m(zT0), i=1,2,---.n, (2.2.1) 

这 里 m(-) 是 一 个 严格 单调 上 升 的 已 知 函数 且 充 分 光滑 ，zT 表示 zi 的 转 
H, q 维 未 知 参数 B c B, B(C R?) 是 非 空 开 凸 集 . 令 g = m^! Cm 的 逆 
映射 )，9 被 称 为 联系 函数 . 也 就 是 , glui) = 218. 

(2) Y, 的 分 布 属 于 指数 族 ,， 即 

P{Y; € dy) = C(y)exp(6;y — b(0,))ni(dy). i=1,2,....n, (2.2.2) 
这 里 未 知 参数 0; € O (i = 1,2,… n), 

oz fo: 0< foo exp{ðy}u(dy) < x} 

是 自然 参数 空间 (以 6o 表示 O 的 内 点 集 ) . 

b() 是 一 个 已 知 函 数 , u 是 zc- 有 限 测度 ， 具 有 下 面 两 种 形式 之 一 : 

(D /是 (-=o, oc) 上 的 Lebesgue HIE, 即 (dy) = dy, 这 对 应 于 Y; 
是 连续 型 随机 变量 情形 ; 

Q u({ai}) = 1. ¿= 1,2.…， 这 对 应 于 Y, 是 离散 型 随机 变量 且 它 
TE (ai. i= 1,2,.…} 上 取 值 的 情形 . 

由 指数 族 的 性 质 知 ,b(-) 无 穷 次 可 微 . 以 C). 5C). b). 5 C) 分 别 表 
示 b(-) 的 第 一 阶 至 第 四 阶 导数 . 我 们 有 

/ » Clu)exp{Oy — b(0)}dy = 1, Véc 6，( 连 续 型 情形 ) 


31 


缺失 数据 下 的 广义 线性 模型 


或 者 
X Clai)exp{9a; — b(0)) = 1， V9 € O. (离散 型 情形 ) 


wl 
18] 已 经 证 明 如 下 结论 : 
EY; = b(0;), Var(Y;) = b(0), i= 1,2,. .n. 

因此 , 有 bb) = EY, = m(zTB). 在 本 章 中 , 我 们 假设 m = b (Cb! 被 称 
为 自然 联系 函数 ). 那么 有 0, — 78, UR 

P(Y; € dy) = C(y) exp (zT By — (27 B)}u(dy), i=1.2,... n. 

下 面 ， 我 们 引进 随机 截 尾 变量 序列 U;, i = 1,2, n. 假设 U;， 
i=1.2.... n 相互 独立 但 不 必 同 分 布 , 令 Gilu) 表示 U, 的 分 布 函数 ， 
H.dG;(u) = gi(u)u(du). 进一步 , 假设 {Ui} El (Y;) 相互 独立 , 再 令 

ai = liyu; i=1,2,... ,n. (2.2.3) 
我 们 现在 引进 下 面 的 示 性 函数 : 
0, WARY, < U,, 但 是 Y, 的 实际 值 没有 被 观察 到 ， 


1， 其 他 ， 
121,2 n (2.2.4) 
x 
Y, 如果 a —16,—1 
Z, -|U, Wo, —16 =0, i-12,-.n (2.2.5) 
U, WRa; = 0, 
且 假 设 
P(ój21|Yi2y U, =u) =p, 如 果 y <u, (2.2.6) 


P(0;20|Y;—-y. U=us=1—p, WRy<u, (2.2.7) 
这 里 0 < p < 1. (2.2.6) 就 是 2.2 节 中 第 一 个 例子 中 “元 件 失效 后 以 概 
率 p 被 立即 显示 ”和 第 二 个 例子 中 “病人 死亡 时 间 以 概率 p 被 记录 下 
来 ”的 数学 抽象 . 当 p = 1 时 就 是 通常 的 随机 截 尾 模型 ， 当 p = 0 时 意 
味 着 所 有 的 Y; 的 实际 值 都 观测 不 到 . 本 问题 的 观测 变量 为 (Zi, ai, 6;)， 
i 二 1,2.… n, 它们 是 相互 独立 的 . + 
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filu) = f(y:e7B) = C(u)exp[z] By — (zT), (2.2.8) 
Fic) = rsp)= [^ Con exole? Bu ~ (27) }au(y), (2.2.9) 
Fi(z) = 1— Fi(z), (2.2.10) 
Gi(z)=1- Gi(2), i-12,.--,n. 
在 (2.2.3) ~ (2. 2. 7) 等 假设 下 , 可 以 得 到 下 面 的 式 子 : 
P(Z; < z, a = 1, ó; = 1} 
= P(Y, < z, Y; < U,, & = 1) = E(Iyyics, <U, #=1)) 
= E(E(I... Y,<U,, &=1}) | Y,U) 
= E(Ipie; levy E (Kaan | ¥;,Ui)) 


= T. IE E(Ts=1) | Yi = y, Ui = u)aG;(u)dF;(y) 


=p f Gone) -» [Wr 
(2.2.11) 
类 似 地 , 有 
P(Z <2, a =1, 6 =0}=(1-p) f Ru) 
=(1-p) ` Fialu). 0.2.12 
PA <z, ai =0}= Í` Fi) 
=f * Bi(yoitu)u(dy). (2.2.13) 


所 以 ,由 (2.2. 11) — (2.2.13), 可 得 到 观测 变量 (Z;, a,6;) 的 分 布 为 
P(Zi € dz, o; = oj, ó; = 5} 
= (pG,(zi) f (zz78)) ^ [0 — p| F(zazT8)o (a | ^ 0779 
(Fx? 8)o(2))  " n(da). 
(2.2.14) 
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(Zi d1) (Zn an: Ôn) 的 联合 分 布 如 下 : 
II(oGicorsat [a -Fenat Bale] 
i=l 


af(128/) 


š [Faisal B)9i(zi)] (az). (2.2.15) 

这 个 模型 被 称 为 带 有 不 完全 信息 的 随机 截 尾 的 广义 线性 模型 ( 简 记 为 
RCGLMID. 

附注 2.2.1 (1) 文献 [46] 考虑 了 Yi, i1 — 1,2,… ,n 独立 同 分 布 ， 
而 截 尾 变量 Uj, i = 1,2,… ,n 是 独立 但 不 必 同 分 布 的 情形 . 我 们 所 考 
虑 的 是 Y;, i = 1,2,… n 和 截 尾 变量 U;, i = 1,2,… ,n 都 是 独立 但 不 
必 同 分 布 的 情形 . 因此 , 本 书 的 工作 是 [46] 的 推广 和 深化 ， 且 解决 [46] 
的 问题 的 方法 和 条 件 不 完全 适合 于 本 书 所 讨论 的 问题 . 

(2) 尽管 文献 [5] 考虑 了 变量 Yi, i = 1,2,… ,n 独立 不 必 同 分 布 
的 情形 , 但 是 ， 它 要 求 截 尾 变量 U, i = 1,2,… ,n 是 独立 同 分 布 的 . 所 
以 , 本 书 的 工作 也 是 文献 [5] 的 推广 和 深化 ， 且 用 于 [5] 的 方法 和 条 件 
也 不 完全 适合 于 本 书 所 讨论 的 模型 . 

对 应 于 (2. 2. 15) 的 概率 测度 记 为 Pa. 同时 , 令 Es) 和 Vars(.) 分 
别 表示 在 概率 测度 Ps 下 的 数学 期 望 和 方差 . 令 Bo 表示 L 的 真 值 . 为 了 
记号 的 简单 , Hid P = Pa, E() = Es C) 和 Var(:) = Vars,(-). 

为 了 记号 使 用 的 方便 ， 对 于 每 章 通用 的 记号 放 在 下 面 ， 以 后 出 现时 
不 再 说 明 . 

方 阵 A > 0 意 指 矩 阵 A 为 正定 矩阵 , 方 阵 4 > B XE A — B > 0. 

Anin(A), Amax(A) 分 别 表示 矩阵 A 的 最 小 、 最 大 特征 值 . 

llall 是 向 量 a 的 Euclid 范 数 . 


P q 
A = (aij)p<a ff] Euclid 范 数 定义 为 |4l| = | > > a. 
i=l j=1 


A = (aij) pxq 的 最 大 元 范 数 定义 为 14| = max |a; 
ij 


jl- 


常数 C.c 在 不 同 的 地 方 可 以 取 不 同 的 值 . 例如 Ces + since 中 的 c 
可 以 取 不 同 的 值 . 
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$35 
不 完全 信息 随机 截 尾 广义 线性 模 
es r ia? 
TEASE 


我 们 知道 广义 线性 模型 (GLM) 在 1970 年 早期 由 丁 A. Nelder JW R. W. 
Wedderburn 正式 提出 ,其 后 得 到 广泛 的 应 用 . 到 1985 年 ，L. Fahrmeir 
和 H. Kaufmannl26] 在 响应 变量 遵从 指数 分 布 的 情形 下 , 给 出 了 此 类 模型 
的 未 知 参数 向 量 8 的 极 大 似 然 估计 (LE) B,,， 并 严格 讨论 了 B, 的 相合 
性 与 渐 近 正 态 性 . 

2.2 节 中 的 例子 告诉 我 们 , 在 实际 工作 中 , 观测 变量 有 时 是 被 随机 
截断 的 ， 真实 信息 有 时 也 不 可 能 精确 得 到 . 自然 地 , 我 们 将 这 种 现象 引 
入 广义 线性 模型 中 ,然后 对 这 种 随机 截 尾 并 带 有 不 完全 信息 的 广义 线性 
模型 的 未 知 参数 向 量 的 极 大 似 然 估计 进行 研究 . 文献 [26] 研究 了 广义 
线性 模型 的 回归 系数 的 极 大 似 然 估计 , 文献 [34], [86] 研究 了 随机 截 尾 
的 线性 回归 模型 的 回归 系数 的 极 大 似 然 估计 , 广义 线性 模型 是 线性 回归 
模型 的 推广 ,它们 都 是 2.2 节 中 定义 的 带 有 不 完全 信息 的 随机 截 尾 的 广 
义 线 性 模型 的 特例 . 因此 ， 本 章 的 结果 是 对 文献 已 有 结果 的 推广 与 深化 . 
下 面 对 2. 2 节 的 模型 的 参数 进行 估计 ,并 对 估计 量 的 基本 性 质 进 行 讨论 . 


3.1 记号 与 引 理 


为 任何 问题 的 研究 ， 都 要 建立 在 若干 合理 假设 下 , 所 以 对 于 2.2 
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节 中 建立 的 不 完全 信息 随机 截 尾 的 广义 线性 模型 ， 我 们 给 出 下 列 假 设 : 
(C) zTBe Oo, Vi 21, VP € B: z; € X, XX 是 紧 集 ; 


(C2) 3c > 0, 484924 n 充分 大 时 ， Moin De) > eni 
i=1 
(C2) 3c > 0. e> > 0, HAM n EAA, 
Anin (ziz?) > s (3 mf) > em. 
i=l i=l 


附注 3.1.1 文献 [27] 在 讨论 广义 线性 模型 参数 的 极 大 似 然 估 计 
时 曾 使 用 过 条 件 (C1) 和 (C2), 很 多 实际 问题 都 满足 这 两 个 条 件 ，(C1) 保 
证 回归 变量 的 取 值 比较 集中 , 不 能 有 太 多 的 异常 值 ，(C2) 保证 回归 变量 
的 观测 值 矩阵 不 太 病 态 . 

现在 , 根据 (2. 2. 15) 给 出 关于 观测 变量 (Zi. ai, ð), i= 1,2,.… ,n 
的 似 然 函 数 : 


n 


LB) = T ((9640702:228))" [a — PE ZiT 8) (Z)] 9 


i=l 
FUsaT B2) 7 )- 


因为 p. g (Zi) 和 G,(Z;) 5 B 无 关 , 为 了 记号 的 简洁 和 计算 的 方便 ,去 
P p. gi(Zi) Wl G;(Z;), 得 到 


L8) = T] 6:22)? (F(Z) (F(Z) 


i=l 


= I (27) ^ (F(ZizT 8) (F(Zi 79) 7. 


i=1 
对 上 式 取 对 数 , 得 到 关于 观测 变量 (Ziad), i = 1.2. ,n 的 对 数 似 
然 函数 如 下 : 
1n(B) =1,(B: Zi 01.61.21. , Zn: Ons Ôn, £n) 


= [oi6ilog /(Ziz7 8) + oi(1 — 6,) log F(Zi278) 
i=1 
+ (1 — aj) log F(Z;:z7 )]. (3.1.1) 
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首先 , 我 们 给 出 下 面 的 引 理 , 其 证 明 是 显然 的 . 
引 理 3.1.1 4% F,(z) = 0, 那么 
[ien =0 fra =: 


PRA (=) =0, MX [^ utut = o, [^ hoa) = 0. 
* EG) = 0 Bf, 约定 


z5 f. yfi(y)u(dy) = 0. HS Fs y" fily)u(dy) = 0: 
M F(z) = 0 Bf, 约定 
1 


Ie mp —1 fe - 
tal ufily)(dy) = 0, mal v fi) (dy) = 0. 


3138 3.1.2. f(y;z7B), F(y:z18) fe F(yz18) 关于 (zi,B) 无 穷 阶 可 
微 . 


证 fiath) 关于 (zi. B) 无 穷 阶 可 微 显 然 成 立 , 剩 下 证 明 
F(y;z7B) 和 P(u:zT8) 关于 (z;.B) RAWAM. 我 们 只 需 证 明 关于 
F(u:izT 8) 的 结论 , 而 关于 F(y.z78) 的 结论 可 由 关于 F(u:z1 0) 的 结论 
立即 得 到 . 

事实 上 , 对 任何 可 测 函 数 p(y), 如 果 Oo 是 集合 9' 的 内 点 ,这 里 


0'={0: [7 cwota) < x), 
那么 
J= Í ciwon) 
在 点 60 是 可 微 的 . 证 明 如 下 . 
因为 0 是 8' 的 内 点 , 所 以 存在 A 0 4888 [Oy — A, 0, + A] C er 
对 任何 满足 0 < |h| < AMY h, 注意 到 


J(bo + h) — J(00) loth)y — oy 
—i —— Cye(y)n(y) 


37 


缺失 数据 下 的 广义 线性 模型 


ely — el 
= f š e^" C(y)e(y)n(du) 
-[f. k "P"! C(y)e(y)u(dy) 


= r ge" +C (y)p(y)u(dy), (3.1.2) 


这 里 心 在 OMA ZI, 我 们 有 
lus e Ailul (e(Go+ Ady + e(%o-A)u), A, = A- |h| > 0, 


28 sup(|yJe- 41) 2 1 < oo, 故 
LJ 


[uc yoyC(y)p(y)| < Leta + ef-4)¥) Cy) p(y), (3.1.3) 
Hi (3.1.2), (3. 1. 3) 及 控制 收敛 定理 , 得 到 


A uf. u ye^"C(y)e(y)n (dy). (63.1.4) 
当 oly) Je y 的 指数 函数 时 ， 很 容易 看 到 6' = 9. + 0) = =TB, 并 在 
AAAS ply) 分 别 为 1 ys ss 就 得 到 所 想 要 的 结果 . n 


Zi 
引 理 3.1.3 Vi>1, Ey [sa -mz vhona) ]. 


Eg [sa -à) zl. iu 
ga- de Uf, woman)’ | 


a gafa Zenia rz yi ho] a.m rie. 


r 1 Zi 2 

ERNIE E, [o1 - 4) s (f. wh(u)atay)) | 的 可 生性 ， 
他 结论 的 证 明 与 之 类 似 

首先 给 出 P(b) 可 微 性 的 证 明 , 这 里 


re)= |` a-ran (S tos) remacoua. 
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96:0) = 而 ( [utm Ouan). 有 


re)=0ü-p [7 wegla). 


tH (3. 1. 4) 得 到 
dv(z:8 * Tog 
GA = res rte f rosa 
-io (f uos) | 
1 , 3 
-zs rtu). 
根据 Cauchy-Schwartz 不 等 式 有 


sa( 广 reonan f vro) 


+0) {w/ay) 
<a( [7 raouan [7 frost): 
+50) Í ` v roman) 


= v*(6), (3.1.5) 
这 里 
v*(8)—3 Keo + b(8)) (b*(0) + 66? (0)b(0) + 46(6)% (0) 


1 
z 


+ 3830) + "()) + (0) (P (0) + b(0)). 
Wh > 0454 (0 — h.0 + h) C Oo. WATE v € (—1.1) 使 得 
r (+h) - (0) _ © W(2:0-+h) — V(z:6) 
h 3 a-» f” h 


xe A > dV(z:0-4-vh) 
-a-9 ` S errem 


gi(z)u(dz) 


gi(z)u(dz). 


(3.1.6) 
因为 em < V*(64-vh) < M, H 


39 


缺失 数据 下 的 广义 线性 模型 


lil Mg;(z)u(dz) = M < oc, 


根据 控制 收敛 定理 ， 由 (3. 1. 6) 得 到 


ar) | 


dð 
注意 到 


~ dU (2:8 
ta f 


gi(z)u(dz) 


j| orang/ ^ yitna alan) | = rto» 


就 有 
æa - oer f x wives Buy) | 
0B 
- EXC) -a-»[* Pree (sata). 
至 此 , 完成 了 引 理 的 证 明 . n 
为 了 记号 的 简便 , + 
Pm tunpata) 
T,(z;0) = RE Yo(z;0) = == Fae) 
f unta f toma 
Ta3(z;8) = =— —==————  p>—>”>p..  T4(z:0) = =——.. 
F(z:0) F(z;0) 
再 作 下 面 的 假设 : 
(C3) VBi,B2 € B, 
| riG:zTÀ1) - T2(2; ix < L(z:2)||B1 — Bol, (3.1.7) 
| T2(2:27B1) — Y2(z:27B2)| < Lo(z: zolA - Bj] (3. 1.8) 
|T3(z:zT0)) — M < Ls(z:z)||B1 一 pz， (3.1.9) 
|Ya(zizT 83) — Talz; vtm < Li(zz)|fi- Boll, (3. 1. 10) 
这 里 supE(Lj(Ziz M(L;(Z:zi) > N)) + 0(N > co), j = 1,2,3,4. 


(C3*) vBi.B» € B, (3.1. 7) — (3. 1. 10) 成 立 , 此 处 要 求 
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supE(L^(Z;:z;)) <Li<%, j=1,2,3,4, b» 1. 
i>1 
很 容易 验证 0-1 分 布 、 指 数 分 布 和 Weibull 分 布 满足 假设 (C3”). 
4 T,(8) = 2299 Ouslia , ASN SLE a. 1.2 得 到 


T,(B) = T, (B: Zi 01,01, 21, 7 Zu On, Ôn: En) 


i š x 
= Yai |z ha) oit -ots J vha) 
i=l ü m 


aor hu vinto). (8.1.10 
将 似 然 方程 
T,(B) - 0 (3.1.12) 
的 解 记 为 
B, mA (Zir a1: 01,81: a Zn: nón zn). (3.1.13) 


将 在 定理 3.2. 1 和 定理 3. 2. 2 中 证 明 这 个 解 在 一 定 的 条 件 下 分 别 是 依 概 
率 和 几乎 处 处 存在 . 为 了 记号 的 简便 , 再 令 


ta) coh, ~ be) + aill A) =Z: rant. vf (zT B)u(dy) 
1 
+(1 -ozga yJ (u27 B)u(du). 
W4 T,(B) = $ zit(z B). 
下 面 的 引 理 将 被 用 来 证 明 本 章 的 主要 结果 . 
引 理 3.1.4 Eg(7,(8)) =0, VB e B. 
证 SM, 对 于 一 切 ; > 14 
Ep(lizit(zT0)) < leilze[aial21+atzzB)| 
+a;(1—6 1 3 rius 
ET "Prae. uf Gra TBuo) 
+ a) FZ vast L, uf zz? By) 
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缺失 数据 下 的 广义 线性 模型 


= e|] /wetwan| + iero 
«a7» ` |f wate) 
«Jr sins tolacue ] 
< Iz Íp[izZ8) + (itz8)] + [oat 
+0- p) [ba 8) + (i etey]' 
+ [jet + toy]! 

< 2l [ita A) 67) + leto 

eas 

上 面 的 第 三 个 不 等 式 是 由 积分 变换 和 Cauchy-Schwartz 不 等 式 得 到 的 , 


最 后 一 个 不 等 式 是 由 (CH 和 b(-) 的 性 质 得 到 的 . 
进一步 , 由 (2. 2. 11), (2. 2. 12) 和 (2. 2. 13) ， 得 到 


Eg(t(27p)) = Eg [ez — Ma!) 
1 Zi 

+aill KQ es of(u:2?B)u(dy) 

+a A) 
=p]: zG,(z)dF,(z) 

*ü-p on nol. yfi(y)u(dy)daGi(z) 

+f E zT uflu)uldy)dG,(2) — TB) 
-»[ Gant «0-9 [7 Guyana 


ES 


+ Gaan) - iet 
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- ril yd F(y) — bz 78) = 0. (3.1.14) 
由 此 得 到 


=Ee( > zitlzzp)) = > Eszi(t(z70)) = 
i=1 i=l 


3H83.1.5 sHT—5 BcB, 有 
Eg(T,(B)T (B)) 


es lieto + safa- S [tz ( roman) 
ee, oap] eo) [Cf TN 


B nol, y E) j 


证 M Cauchy-Schwartz 不 等 式 知 
Zi 2 
s [s -at Cf utn) | 


< (zT) + (bz78))* < oc: (3. 1. 15) 
1 mo 

Es [sa Sg f vto] 

< ie me (zp) < oe: (3.1. 16) 
s |[u -adz «cL wer ] 

< hz? 8) + (z78))* < o: G. 1.10 

ss [0 -oF SL Lavina 
< (zT) + (b(zT0))° < oc. (3.1.18) 


根据 (Zi aidi), i = 1.2..… n 的 相互 独立 性 及 (3. 1. 14), 我 们 有 
Eg (Ta (B)T3 (B)) = za Z zat (rat). (3. 1. 19) 
i=1 
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缺失 数据 下 的 广义 线性 模型 


以 及 
(aT) = ai, Z2 + FEE 

taill- A) rar RZ T0870 

*ü-a) ut ufiGu)u( dy) 

— 2278) F: +a -ma J wu 

+ odas J uino] 

Zi 
=Ë ~ (TD os m Rz ( Í tini) 
+ 0 odes wi) - itin. 


(3. 1. 20) 
注意 到 
Eg(a;0;Z7) = pf Gr. (3. 1.21) 
Es [sa -əng j e Punto) 
=ü- f^ xa fun eae) 
-a-» [^ f’ vari) 
=a-» f7 J; ydG(s)dRily) 
=(1 -» f 2°G;(2)dF;(z). (3. 1. 22) 
以 及 


s [u -oF == É Wn | = n 
(3.1.23) 
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综合 (3. 1.19) — (3. 1.23), 我 们 得 到 了 想 要 的 结果 . 
根据 (3. 1. 4) 可 以 计算 出 
Hy, (8) = Hn (B: Zi 01,01, 21, 777 Zo On; ón. 4) 
_ O8) 
op ap 


pa M eT SiT E 1 ^ s 
Leat {itp esa = [zs ( | utt) 


Zi 
- zu rntayj 


a -o) [za (f, nuyta) 


ú = Ñ vr ono) \. (3.1.24) 
H,(B) 称 为 Hess 矩阵 ， 再 由 引 理 3. 1. 5 即 得 
引 理 3.1.6 Es(H,(0)) = Eg(Tn(B)T;(8)). 


为 了 记号 的 简便 , 令 
An(B) = An(Bizi. En) = Eg(Tn(B)T 7 (B)), — (3.1.25) 


AGB) = eet) + Ea{ oil1 = Ss Í K v Gu) 
- Nos I rntayj 
£(-a) Pi Jut) 
- == L zo 
ES Eg (x7) ). 
TR A, (B) = 322520572 n 


i=l 


为 了 得 到 本 章 内 容 的 主要 结果 , 还 需要 作出 下 面 的 假设 . 
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缺失 数据 下 的 广义 线性 模型 


(C4) Eg((z78)) > 0. VB e B #l z, € X. ¿> 1. 


引 理 3.1.7 4 An = A, (Bo), 以 及 
N,(5) = (8: APB- Boll S 5}, n> 1 5>0. 
(i) 在 (C1), (C2) 和 (C4) F, 3c1 > 0 使 得 当 n 充分 大 时 ， 
Mnin(An) > ein; 
(i*) 在 (C1), (C2) fe(C4) F, 3cl,ca > ORFS n 充分 大 时 ， 
en € Amin(An) < cans 
Gi) # (C1), (C2) fe (C4) F, V ó > 0, 


V,(0) - I] 30 ^ 
emas, ll (8) -T| (n — o9) 


ik E V,(8) = A; A,(8)4; ^ ARUACT 6945 RHEE; 
(iii) 在 (C1), (C2) fe (C4) T, max (zT A;!z;) — 0 (n > co): 


(iv) 在 (C1), (C2) fe (C4) F, 3 Mi, Mo, no 使 得 


0< Mis Y ziA;z; S Ma < co, V n > no. 
i=l 
证 根据 (3.1.15) 一 (3.1.18)， 同 时 由 假设 (C1) 1 (C4), 得 到 
0«c € inf A(z78) < supA(z78) < c2 «oo. — (3.1.26) 
ziEX riEX 


XA = SCAT Hix} A(zT8)) > cl 》 AM zxz]AS VAE RY, 


i=l i=1 
以 及 如 下 事实 : 对 任何 正定 矩阵 A, 由 


inf ATAA = Xmin(4)， sup ATAA=Amax(A) 
IAI=1 All=1 


可 得 到 命题 (i). 由 上 述 事 实 及 条 件 C2) 可 得 到 命题 (i*). 
命题 (ii) 等 价 于 
[ATAn(B)A — ATAnA| < cATA,A, VÀ €R%, ñ € N,(ó), n > mi. 
(3. 1.27) 
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由 引 理 3.1.3 知 A(z1B) 关 于 8B 的 导数 对 于 i 是 一 致 有 界 的 . 根据 Taylor 
EFR, 得 到 , 对 任意 的 5 > 0 以 及 = > 0, 存在 某 个 常数 m 使 得 
|A(x 78) 一 4(zzpo)| <sa4(zIpo)，YB e N,(ó). n > m. 
用 ATz;zTA 乘 以 上 面 不 等 式 的 两 边 , 有 
| 和 ATzizZAA(zz6) — ATzizIAA(zIpo)| < A zizTAA(z7 Bo). 
(3. 1. 28) 


因此 , 由 (3. 1.28) 及 三 角 不 等 式 , 就 得 到 (3. 1. 27) . 
BA A; 是 正定 矩阵 ， 故 存在 一 个 正 交 矩 阵 P 使 得 
PTAP = diag(X71, AT ALD, 
这 里 Ar < A € € 和 是 hn 的 特征 值 . 由 XX 的 紧 性 , 我 们 得 到 
max]; < M < oc. 从 而 , 通过 令 w; = PTz;, 根据 命题 (i), 我 们 有 
x} A; zi = w] P diag(, A535. Ay!) Pwi 
< wr PX Pwi; = X! wil? = Ay" lil 
<Ay'M? 30 (n3 e), 
其 中 了 是 单位 矩阵 , 这 样 , 结论 (iii) 就 被 证 明了 . 
H (3. 1.26) 知 , WR n > no, 就 有 


n n n 
0<a 六 < > ziz? A(z?) < c >》 aia, 
isi i=1 i=l 


Bp 


0<q Ya € A, € co Ya. (3. 1.29) 
i=1 i=1 


再 分 别 用 A473 左 乘 (3. 1.29), 以 及 AL? 4538 (3. 1.29), 有 


“En A ee n ES 
0<c A) aie} An? S< I< co Animi] As). (3.1.30) 


i=1 i=1 


再 对 (3. 1. 30) Bi (trace), 又 有 


0< etr Y Ar zatan) ET ES etr( J An ziat Ant), 


i=1 i=1 


AT 


缺失 数据 下 的 广义 线性 模型 


即 


0<cly zi4ilzi<q<c> mL Asini (3.1.31) 
i=l i=l 


通过 令 M = Z, Mo = > 我 们 就 得 到 了 本 引 理 的 结论 (iv) . 


引 理 3. 1.8 dX A 是 一 个 g x q EREE, 那么 有 
(i) max (ei Ae.) = max (ler Aenl}: 
Gi) min (el Ae.) > Amin(A)s 
这 里 es = (0,… ,1,.… OT 表示 第 s 个 元 素 是 1 而 其 他 的 元 素 是 0 
t q 维 向 量 . 


证 为 了 记号 的 简便 , W asr = elAek，s, 尺 = 1,2,… .q. 由 和 矩阵 
A 的 正定 性 ,我们 可 以 找到 正定 矩阵 4 的 某 个 主子 式 使 得 


Uss Ask >0, 
Qks ükk 
即 asar — a2, 0. 从 而 Jas) < assa < maxfass. ayy}. 所以， 本 
引 理 的 断言 (i) 成 立 . 

因为 A 是 正定 的 , 所 以 存在 一 个 正 交 和 矩阵 P 使 得 

PT AP = diag(X1, o, --- PES 

这 里 A, < do «e < 和 是 矩阵 4 的 特征 值 , 了 是 单位 矩阵 . 

容易 看 到 PT(A -AIP 20, BJ À — Al > 0. 所 以 , 本 引 理 的 断 
言 (ii 成立 . 


引 理 3.1.9 在 (C1), (C2), (C3) 和 (C4) 等 条 件 下 , Vó > 0. Ve > 0, 有 
Jim PÍ oae, IV) -Ll > e} =0, (3.1.32) 
ik € V:(B) = A; ^ H,(B)A, ^, N, (8) 的 定义 如 引 理 3. 1. 7. 
证 为 了 记号 的 简化 , 4 fio(y) = f(y:z7Bo), Fo(z) = F(z:zT fo), 
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Fio(z) = F(zizTo), 以 及 ani = An zi. 448 V; (B) 一 
A, + B,, + C,, — Dn- E,, + H,, + G,,, 
此 处 
A, = V,(6) — 


B, -Èa aos - 5f [tz (fu) 
-x | nt Un - [pata urn 
sin rna) 
Br alit 
"rs [erm] - [gt C rto) 
"zu; Js foto] 
D, = Lonel [s (s tz ( | umi) 
- xu J ` nunata] ) 
-Ea (ea -dlit ( Í utat) 
-sm Í rotoyta] ) 
sega s(a- efaz (Jf, man) 
-giz Í, PAu) 
-£a (a - ez s p 


- ran. y fotu) J: 


| tuta) 
Zi 


49 


缺失 数据 下 的 广义 线性 模型 


n Z, 3 
Hy = Yanal [ost 0) [tz ( | utat) 
io \ w 


i=1 


Z, 
-a VP otav) 
° 1 2i 2 
-Eo( -a tz CJ nto) 
Zi 
a ZG PT I^ ollay)| Y 
È Moon " 
G= Yoann -«) zm! Jf whoa) 
Z1 v fotniv) 
1 co 2 
-E(1- v [az I EOC) 
1 ed dn 
E iP fotos] } 
由 引 理 3. 1. 7(ii), 知 max |A,|| — 0. 首先 ,给 出 结论 “max ||B,,|| 5 0" 
BENn(5) BENn(5) 
的 证 明 ， 用 相同 的 方法 可 证 明 结论 “ues C, | 号 0”. 其 次 , 给 出 
结论 ^ ma. Dall 0" 的 证 明 ; 用 相同 的 方法 可 证 明 结 论 


“ may, lEn — 0” . 最 后 , 给 出 结论 “|,l 3, o" 的 证 明 ; 用 相同 的 


方法 可 证 明 结论 “Gu 号 0”. + 
1 z 
B: (Z: 0.0.) = [ez ( Í arta) 
1 2 5 
- = |. fous] 
1 2 2 
- ES a Í: C) 


z 
- nu D) 


= (12(2:0) — T1(Z:69)) — (T2(Z:0) — T>(Z:00)), 
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有 
Bic Si - &) B' (Zi1 B.z; Bo) - 
i=l 
由 假设 (C3) 和 X 的 紧 性 , 得 到 
"(Z7 8.27 /))| < (Lim) + Lai) NB — Boll 
即 有 


|B,.| < > leuazillaz(1 — 6) (Lr (Z;:zi) + Lo(Z;;zi))||8 — Boll 
i=l 


由 引 理 3. 1. 7 的 (i) 知 ,存在 某 个 绝对 常数 cl > 0 使 得 
Amin(An) 2 cin, 


以 及 
Bull € 327 AY z (LA (Zi; zi) + Lə(Zi;zi))||8 — Boll 
i=l 
< Aui (llzi]l(45)7) II — Boll 3 (L1 (Zizi) + Lo (Zi; zi)) 


c7! Myll — Bol È (Lud; zi) + Lo(Zi: zi)) 
= c7 Msi 44) 7 D (Amin(An)) lB — Boll 
incen 
eT Ms (Amin(An)) "AY" (8 — Bo) 
T$ Li (Zz) + Lo(Zii2;)). (3.1.33) 
从 而 有 
max [B.| < Ma (Amintan) hi D Qa on) 


(3. 1. 34) 
又 由 引 理 3. 1. 7 ff] (i) ML Ve > 0, Ano 使 得 对 n> no 有 
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缺失 数据 下 的 广义 线性 模型 


CE 


M36 


(Amin(An)) ' < 
成 立 , 从 而 有 


ax ||Bn | < As (Ly(Zj:2;) + Lo(Zim;)). (3.1.35) 


i= 


为 了 证 明 
max. ||B,| +0, (3. 1. 36) 
BENn(5) 


需要 先 证 明 : 存在 常数 M < 00, 使 得 
mp Siena + L2(Zi;7i)) < m} =1. (3.1.37) 
此 ,只 需 证 明 : 存在 常数 M. < oo, 使 得 
ma 人 > È (Zia) < m} =1. (3. 1. 38) 
类 似 可 证 存在 常数 Mo < co 满足 
sim P{ 2 > Ly(Zizi) < m} =1. (3. 1. 39) 
事实 上 , h (C3) AS] 1.3. 7 4, Ve > 0, 有 


sim e{ 2 I: (me mj) — E (a(Zaz))|s =] = 1. 


由 此 得 
m 
Jn eC Yoon € TE(Ia (Ziz) +e} =1, 
即 有 
LUE nsn) IA +e} = 
(3. 1. 38) 得 证 . 


H (3. 1. 38) 和 (3. 1. 39) 48 (3. 1.37). H (3.1. 35) 和 (3. 1. 37) 得 
(3. 1. 36). 


下 面 证 明 max ||D,| +0. + 
BEN, (5) 
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2 
, 


96:0) = ges (f rosa) 


Z(z;0) = ‘i y f(y:0)n(dy), 以 及 


D'(0.8) = (1 — olf sas. uf Gr: Ou(dy)) aG.(c) 
-S ram rtm y'a] 


-ü -»| Jf ormai) 


= " É H Š rrantdydc'O 


zu - 咱 广 (92:6) — p(z;00))dG,(z) 
" Fa (5:0) - 26:6). 


D, = Sania, D (76:21 Bo). 
i=1 


H (3. 1. 4) 和 引 理 3. 1. 3 容易 得 到 3v € (-1, 1) 使 得 
|#(z:z7 8) — (2:27 Bo)| 


OV (z:zT 一 
- pests 8-A -mi 


BU (z:zT _ 
Z Beier 80) he gu 


< Mill — Boll. 
类 似 地 ， 有 
|E (2:178) — £(z:z789)| € Ms||B — Boll - 
再 根据 事实 : 对 充分 小 的 = > 0, 存在 常数 no 使 得 当 n > no 时 , 有 
(Maia(A,)) < 


€ 
M. + Ms’ 
可 以 得 到 
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缺失 数据 下 的 广义 线性 模型 


|D" (x7 8:27 Bo)| < (Ma + Ms)||B — Boll 


= (M. + Ms) Amin(An d = due 
< Amin(An)||B — Boll 

< eA? -po 

< eð. 


因此 , 由 引 理 3. 1. 7 Cii), 得 
IDA ES ES la bee? Az les = Yes eó € Maeó. 
ici 


这 证 明了 当 n — oo Bf, max Po 一 0. 
BENn(5) 


最 后 , 证 明 max [Hal] +0. 令 
J(ZizT80) = oi — S zs Mff) (dv))- 
- == rid sfatul] 
- B(w - à) [GU ufo(u)u(du)) 
- z Í : totas). 


JU H, = Janiak J (Zepo). 易 见 , E(J(Zi:zT00)) = 0, 


i=l 


Var(J(Zi:27Bo)) < efail - á) [GU YN 
= zu. deo y 
4 
< æfa- D oz; ROS I Y ] 
E my ne foua) |} 
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=2(1-p) 全 [= ( f. vfolu)u(dy)) 

+ (zi f. tomen) Jaco 
saap) [^ f. v tasa) 
=40 =p) [^ vG(v)aFotw) 

40 - [^ vaa) 

= 4(1 — p) [ (759)  4b(z Bo) b (27 B0) 

Sl (2780) + 6È? (zT po)h(z7 Bo) + (eT). 


又 根据 X 的 紧 性 , 存在 常数 0 < Ka < oo, 使 得 
sup (6 (780) + (z po) b (ET Bo) + 3P(z700) 


+ Gb (zT Bo)b(z=T Bo) + i (z789)) € Ks < oc, 
即 
sup Var(J(Zi:z7 Bo) € 4(1 — p)K3. 


根据 Kolmogorov 强大 数 定律 ， 有 
i Yl 4(Zii2T Bo) 0. Pas, 
i=l 


Jim, max. IIH,|| = Jim 3E max, rena sa Bo) 


< hn max a, lawl 2 2} By) 


T n> BEN, 


< um, max. Y edes )J(Z; z Bo) 


Mai Š a ih = 
< Mc Tim, iis Bo) = 0. P-a.s. 
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缺失 数据 下 的 广义 线性 模型 


所 以 , 想 要 的 结论 得 到 了 证 明 . 
引 理 3.1.10 在 (C1), (C2), (C3*) 和 (C4) 等 条 件 下 , Vó > 0, 有 
ns V76) -I| =0, Pas. (3. 1. 40) 

这 里 V(B) = An H,(8)A, ^, N, (ó) 的 定义 如 引 理 3. 1.7. 

证 与 引 理 3. 1. 9 一 样 作 分 解 . 只 需 证 明 结论 “pmax, Ba > 0, 
P-a.s." fü “ max, 上 Cnl| ^ 0. P-a.s.” , 其 他 的 结论 已 经 在 引 理 3.1.9 
中 得 到 证 明 . 为 了 证 明 Eu IIB,|| 一 0,P-a.s.， 需 要 证 明 对 P-a.s. 的 
w, 存在 M = M(w) < 00 使 得 

ps (IA (Zi: zi) + Lə(Z;;zi)) < M. 
现在 , 只 证 明 对 P-a.s. 的 o, 存在 Mi = Mi(w) < oo 使 得 
solam) <M. 


对 另外 一 个 ,可 以 用 与 之 相同 的 方法 证 明 . 


Ve > 0, $ 
By = fw: ah Dhl (Zi: zi) — sup E(LA(Zi 2) <e}. 
dd 
K = fo: Fee -E(I4(Z5))) >e), 
UE 


Kg = fu: EY (ats) - EQ Ga) > 中 


i=l 


那么 KP C Ku 根据 假设 (C3*) 和 引 理 1.3. 8, 知 


»(fi Ü Kn) = JimP( Ü Kn) =0. 


$i nal 
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进而 


«(f Ux) = = tne (U KW) = = 


记 BY = 2- BY. 容易 看 到 BY C Ss Ux KD. 根据 BX 的 单调 性 ， 有 


Jim P(BN)=1. 因此 ,对 所 有 的 >N, 在 Bx 上 , 有 
LY Lm) < sup E(Li(Zizi)) + £ < pit +e. 
ve] idl 


再 由 假设 (C2) 知 ,存在 某 个 绝对 常数 cl > 0 使 得 
Amin(An) > ein, 
以 及 


| S 2 asa Q 一 saa) 
i=l 


< Y a1 Ap mie, (1 — òi) La (Zisi) 


i=l 


< Amin(An)~'Mg Y^ LA(Zi; zi) 
i=1 


se Mona Zizi) 


< M3. (3.1.41) 
类 似 地 , Vn > N, 在 BY E, 有 


| p» Em - stan) < Mi. 
根据 事实 : 存在 常数 no 使 得 对 n > no 有 


€ 
(Amin(An))~ < al TAN 
成 立 , 我 们 知道 , 如 果 n > max(N.no), 那么 在 集合 Dy. E, 有 


ps, Bal < (MS+ Mi) (Amin (4n) max. I — Boll win (45) "^ 
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eus P vnb = 
<(Amin(An)) inex, IIB — Boll 
<e max _||AT/?(6- 
S E ge) As 0 - Bol 


< eð. (3. 1. 42) 


1 
BN(m)= yw: sup max ||B < ish 
wm) = [2: sup mas Balls 1), 


Bo(m) = U BX(m) R. Bo = N Bo(m) . 根据 (3.1.42), 我 们 有 
N=1 


m=1 
P(Bo) = 1. 此 事实 蕴涵 着 


max ||B,|| 0. P-a.s. 
BENn (5) 


从 而 ， 引 理 得 证 . 


引 理 3.1.11 AE B ER? 的 开 凸 子 集 f(8) = f(r. Bo,--- ,By) 是 定 
义 在 防 上 的 一 个 实 值 函 数 ， 而 且 三 在 马上 几乎 处 处 有 二 阶 偏 导数 ， 
若 g 阶 方 阵 


2 o 
A(B) = (zz) >°: vB c B, 


«A, 方程 
9f o 421,22. 
ag =" i=1,2,---,q (3. 1. 43) 
至 多 有 一 个 解 .而且 如 果 这 个 解 存在 , 我们 把 它 记 为 Bn IRA B, 
一 定 是 三 在 马上 的 极 大 值 点 . 


证 设 方程 (3.1.43) 有 两 个 解 B* 和 pn, 且 BY AB. 因为 BB 是 
R° 的 开 凸 子 集 ， 所 以 连接 B* 和 的 线段 全 在 B W, 故 函数 
H(t) = f(tB* + (1 — 87) 
HOSES 1 时 有 定义 . 由 于 B* 和 ph ABE (3. 1.43) 的 解 ， 所 以 有 
H'(0) = H'(1) = 0. 
由 Rolle 中 值 公式 知 , 存在 to € (0.1), 使 
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0 = H"(to) = —(8* — 8'*)" A(tof* — (1 — to)B**) (B* — B**). 
(3. 1. 44) 
由 于 对 任何 B € B, A(B) > 0, 由 正定 矩阵 的 性 质 知 ，(3. 1. 44) 成 立 ， 必 
有 B-p” = 0. 这 个 矛盾 表明 (3. 1.43) 至 多 只 有 一 个 解 . 
其 次 , HB, A (3. 1.43) 的 一 个 解 ，B* 为 B 内 任意 一 个 点 , 令 
H(t) = f (tÊ, + (1 — 8). 
H (3. 1.43) H'(1) = 0. 因为 对 任意 的 te [0,1), 有 
H"(t) = (B, — P*\TA (tÊ, — (1 — 0)8*)(&,, — B°) < 0, 
从 而 知 H'(t) > H'O), 进而 有 f(B,) = H1) > H(0) = f(8*). 这 就 证 
WY B, 一 定 是 f 在 B 上 的 极 大 值 点 . 


引 理 3. 1. 12 在 (C1), (C2), (C3) 和 (C4) 诸 假设 下 , 规范 化 的 得 分 函数 具 
有 渐 近 正 态 分 布 ， 即 A; "T, (Bo) $ N(0.I). 


证 REACER, HREAN =L 4 
Tni = ATAR ?zit(zTpo), 
对 于 排列 {T,;}， 显 然 有 
ET, =0, Var( DT) = Va Q7 4;?T,(&)) = 1. 
i=1 


为 了 证 明 此 引 理 的 断言 , 我 们 只 需 证 明 Lindeberg 条 件 能 够 得 到 满足 ， 
即 Y6 > 0， 


gn(6) = X dF, +0, noo, — (3.1.48) 
imt it 


— 
XH, Fui 是 Tni 的 分 布 函数 . 再 令 oT, = AT AL z, ani = zTA, PA 
并 将 其 代入 (3. 1.45) 中 . H T2, < aLosi|t(zT8o)| n, 
gn(6) < S I, I y dH, ra): (3. 1. 46) 
nj) d 


i=l 


这 里 Huergo) Ë |t(zT00)| WAM, i= 1,2,---.n, 


š , P 
B(n.i) 24 > —— }. 
sxa t: an =} 
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由 引 理 3.1.7 知 ，Xmin(4n) — oo, Var(t(z78o)) < oo. i= 1.2...: n, 
ZI47Tlzi +0, UR 


s 
0« Ki < Y zr Ay!) < Ko < oo, 
= 


从 而 有 


max aman — 0. (3. 1. 47) 
i=1,2,+,n 


XE X. h (T) = 人 EL H (3. 1. 47) Ail, 对 任意 大 的 c > 0, 存在 
32>62c 


充分 大 的 no (e) > 0 使 得 当 n > no(c) Bf, 
T NULLE 
成 立 . 将 此 式 代 入 (3. 1. 46) 中 有 
gn(5) < Sata, (t(z00)), n > ny(c). 
ic 
经 过 计算 知 ， 
Var(t(z7o)?) < 16( 5 (z1 Bo) + 4b(zT 89) (x? Bo) 
+ Gb* (7 Bo)b(z7 Bo) + i (aT Bo) 
< oo. 
由 Neveu 一 致 可 积 性 定理 59 知 , 3⁄4 e 一 co 时 ， sup he (t(zTBo)) > 0, 
i=12,- n 
又 由 于 


D aniani = AT Y^ Agaa ARTA 
i=1 


i=1 


= tr (» > A; sad AA) 


il 


= tr(zT AIPAAT ALTA) 


i=1 


n 
< [9377 77 < K < oc, 
il 
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上 式 的 不 等 式 成 立 是 因为 AAT 是 投影 矩阵 ,因此 有 


g (Ó) € K sup h(Z;)—+0 m- oc. 
i=L,2 


从 而 证 明了 本 引 理 的 结论 . 


3.2 不 完全 信息 随机 截 尾 广 义 线性 模型 的 
极 大 似 然 估计 的 相合 性 与 渐 近 正 态 性 


现在 给 出 本 章 的 主要 结果 以 及 它们 的 证 明 . 
定理 3.2.1 在 条 件 (C1), (C2), (C3) de (C4) 下 ,存在 一 个 随机 变量 序列 
{$} 满足 
(i) P(T,(B,) = 0} 一 1: (存在 性 ) 
Gi) ñ, Bo; ( 弱 相 合 性 ) 
Gii) An(n- Bo) 5 N(0.7)，( 渐 近 正 态 性 ) 
证 根据 条 件 (C1), (C2), (C3) (c4) 4n, 引 理 3.1.9 成 立 . 因此 ， 
VB € Na(5), 能 够 找到 一 个 与 5 无 关 的 常数 c > 0 使 得 当 n > no(5) 时 ， 
EBE H,(8) — cH, 是 半 正 定 的 , 即 依 概率 下 有 HB) > 0, 所 以 , 由 引 
H 3.1.11 知 , 得 分 函数 T,(B) 至 多 存在 一 个 零点 . 如 果 这 个 零点 存在 
fis, 这 个 零点 就 给 出 了 似 然 函数 1,(B) 的 一 个 (局 部 以 及 整体 ) 的 极 大 
1H. 如 果 这 个 零点 不 存在 , 将 定义 极 大 似 然 估计 为 B 中 的 任意 常数 . 将 
这 个 极 大 值 点 记 为 Bn 记 随 机 事件 
An = {V5 > 0. (8) - (B0) «0, YB e ƏN,(6)), (3.2.1) 
B, = {V5 > 0, In(B) TE N,,(ó) 的 内 部 存在 着 一 个 局 部 极 大 值 点 }. 
(3. 2. 2) 
则 有 
An C Bn. (3.2.3) 
首先 注意 到 如 下 事实 (A) : 设 1,(B) : BEBCRI 一 及 ,为 有 的 连续 可 
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微 函数 . 取 闭 球 S(Bo.n) = (6 : ||B — Boll < n) c B, 则 开 球 为 
$°(Bo.) = {B= IIB — Boll < n), 
边界 为 
95(Bo.n) = {£ : IIB — Boll = n}. 
WR 1,(Bo) > suptl (8B): Be S) , WA 38: e S? 使 得 
1,(B*) = supln(B) = sup l» (B). 
Bes Bes? 
事实 (A) 的 证 明 如 下 : 
Hg 1, C) 的 连续 性 以 及 S 的 紧 性 , 3B* e S 使 得 
In(B*) = sup L,(B). 
Bes 
1(B*) > In(Bo) > supl, (8), # B* ¢ OS, 即 知 B* e S?. 
Beas 
由 事实 (A) 知 关系 (3. 2. 3) 成 立 . 因此 , 要 证 明 1, (8) 依 概率 有 极 大 
值 点 就 只 需 证 明 : 对 任意 的 7 > 0, 存在 5 > 0 以 及 mi > 0, 使 得 
P((B) -L,(Bo) «0, YB E ƏN,(6)) > 1—n, n>m. (3.2.4) 
现在 , VB e ON (9), + X = 4549 -Po 则 ATA = L 对 数 似 然 函数 
的 Taylor 展开 式 为 
ln(B) — In (Bo) = 527 A; Ta (Bo) — SAYA 
- PX az) -IA4 PX (v3) - DÀ, (3.2.5) 
此 处 厅 位 于 B 和 Bo Zi. 易 知 
max A74; 77,89) = |A;'T,(o)|. 
注意 到 , 要 使 (3. 2. 4) 成 立 ， 必 须 有 下 式 成 立 : 对 任意 的 > 0, 都 有 


ef Az", aoa < Soo (209) 
对 某 个 5 > 0 BUE AY n Hir. 注意 到 有 


E(IAz PTBN = a. 


}>1-n (3. 2. 6) 
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又 由 Markov 不 等 式 , 我 们 知道 


-1/2 2 | (6c)? 4 
PÍ Jaz PTB <! 2 E 1- d =1-n (3.2.7) 


H= = DUREE AA n 成 立 . 在 (3. 2.7) 中 , 取 c= uas (Vs (0). 
就 得 到 (3. 2. 6). 由 引 理 3. 1. 7 和 引 理 3. 1.9 XI, 

Xv.) - DA > 0, PX (ve - DA > 0， 依 概率 P， 
进而 就 有 (3. 2. 4) 成 立 . 所 以 Ên 存在 于 邻 域 N,(5) 中 ,也 就 得 到 结论 G) 
RX. 

当 是 充分 大 的 正 整数 ， 且 对 某 个 常数 5 > 0, 如 果 有 B, e N,(ó), 
那么 根据 (3. 2. 4) 以 及 Amin(An) — oc 知 

{IB, — Boll < 5, v5 > 0) 2 (B, € N,(6). Vó > 0), 
于 是 得 到 
P{||B, — Boll <5} >1-n Vn > m. (3.2.8) 
故 结论 (ii 成立. 
下 面 证 明 结论 (iii 成立. 通常 地 , 将 T, (Bo) 在 点 Ôn 处 展开 . 根据 
向 量 值 函数 的 均值 定理 ( 见 [35], p. 278)， 得 到 
1 ~ ^ 
Ta (Bo) =f Hn (Bo + t(B,, — Bo))at (À, — B). 
进而 有 
1 P a 
A; T, (Bo) = [ V; (Bo + (B, — Bo))dt4T/À, — Bo). 
由 引 理 3. 1.9, 我 们 知道 对 任意 的 = > 0, 
1 
| or -Boa js [en 
0 0 
H (3.2. 8) Ail, 5 能 够 被 选择 使 得 这 个 事件 发 生 的 概率 任意 地 接近 于 1. 
从 而 有 
1 
[Vio +B, -Boa Š r. 
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又 由 引 理 3. 1. 12， 就 得 到 
Aj" (B, — Bo) + N(0.1) . 
为 了 完成 定理 3. 2. 2 的 证 明 , 首先 证 明 下 面 的 引 理 3. 2. 1. 
引 理 3.2.1 4&4 (C1), (C2*), (C3*) 和 (C4) 下 ， 存 在 Bo 的 一 个 邻 域 


N CB 使 得 对 常数 c>0,65>0 以 及 ni > 0 几乎 处 处 有 
Amin (H,,(8)) 2 cAuax(44). BEN. n>m. (3.2.9) 


证 类 似 于 引 理 3. 1. 9 的 分 解 ， 有 
H,(B) = A,(B) + Hm + An2 — Hs— Hna + His + Hi, 
(3. 2. 10) 
这 里 Hua Hoo Hos Hna. Hos Hoo 分 别 由 B.C, D, E, Hn, Gn 中 
ana), 被 zizT 所 取代 而 得 到 . LA CRY, HWE ATA = 1. 我 们 用 入 
右 乘 (3. 2. 10) 的 两 边 , 用 AT 左 乘 (3. 2. 10) 的 两 边 ， 有 
ATH, (B)A = ATA,A + ATH A + ATH45A — ATH ZA 
— ATH,4A + ATH,sA + AT Hag. (3. 2. 11) 
H (3. 2. 11) 知 
Amin (Hn(B)) 2 Amin(An) 一 Amax(Hn1) — Amax(Hn2) 一 Amax(H n3) 
— Amax(H n4) + Amin(Hns) + Amin(H no). 
(3. 2, 12) 
由 条 件 (C2*) 4n, 存在 常数 c > 0 使 得 Nain (A,,) > CAmax(An). 模仿 引 理 


3.1.10 中 “ max |B,|| — 0, P-a.s.” , ^ max ||C,|| ^0, P-as." , 
Beh, (8) BENn (5) 


“ max |D,|| 2 0", * max ||E,|| 一 0" , “||H,,|| = 0. P-a.s.” , E 
imax, [Doll — 0”, * may Enl > 0”, “Iz, — 0, Pas.” Bl 


K “||G,,|| — 0. P-a.s.” 的 证 明 方 法 知 ， 


Amax(H n. f 
ee — 0, Pas. j= 1.2.5.6, 
Amax(H nj) 2 
Amm) 7 0， 了 = 3.4. 
由 引 理 3. 1.7 的 (in) 立刻 得 到 (3. 2.9). 
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定理 3.2.2 在 条 件 (C1), (C2*), (C37) 和 (C4) 下 ， 存 在 一 个 随机 序列 
{By}, EA 
(i) P{3n > 0, 4&4 T,(B,) 2-0, Vn» no) = 1; 
Gi) E By; ( 强 相合 性 ) 
Gii) ARP- Bo) $ N(0.T)，( 渐 近 正 态 性 ) 


证 本 定理 的 命题 (iii) 包 含 在 定理 3.2. 1 rh. 下 面 , 仅仅 考虑 本 定 
理 中 的 论断 (i) 和 (ii). 
r= TM n-12,... 给 定 一 个 任意 的 常数 。 > 0, 使 得 
Ke(Bo) = (8: IB — Boll < £} 
包含 在 邻 域 N 中 , 此 处 N 在 引 理 3. 2. 1 中 给 出 . 现在 证 明 , 对 于 一 个 充 
分 大 的 常数 > 0, 事件 
l.(B) —l.(Bo) «0, VB€O8K.(Bo). Vn ny (3.2.13) 
以 概率 1 发 生 . 这 就 证 明了 极 大 似 然 估计 的 强 相合 性 . 
现在 , VB e ƏK,(B0), + x = 二 Bo. 那么 对 数 似 然 函数 的 Taylor 
展开 式 为 
ls (B) — tn(Bo) = €ATT (Bo) 一 X, (8), 
此 处 万 位 于 B 和 Bo Z. ERRU An 注意 到 事件 
ATT (Bo) -= ATHn(B)A 
An 一 2 Àn I 
等 价 于 事件 (3. 2. 13). [828 T, (Bo) 的 每 一 个 分 量 有 一 个 小 于 An 的 方差 


通过 Kolmogorov 强大 数 定律 的 分 量 形式 ([80], 引 理 2) 的 应 用 ,就 得 到 
T, (Bo) way 0 
An 


ATA=1, n>m, (3.2.14) 


再 根据 Chauchy-Schwarz 不 等 式 ，(3. 2. 14) 的 左边 一 致 地 对 所 有 满足 
和 AIA= 工 的 入 几乎 处 处 收敛 到 0. 


又 由 引 理 3.2.1, 38 n > nə 时 ，(3. 2. 14) 的 右边 大 于 全 .因此 就 得 
到 事件 (3. 2. 13) 几乎 处 处 成 立 . 用 类 似 于 定理 3.2.1 的 证 明 思 路 , 可 得 
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证 本 定理 的 (i) 和 (ii). 

附注 3.2.1 (1) 在 本 章 中 , 仅仅 讨论 了 自然 联系 函数 的 情形 . 对 
于 非 自然 联系 函数 的 情形 , 可 以 用 类 似 的 方法 进行 讨论 ， 只 是 其 计算 过 
程 更 加 元 长 与 繁琐 . Ast, 不 再 作 讨 论 . 

(2) 在 本 章 中 , 借鉴 了 L. Fahrmeir #lH. Kaufmann 处 理 问 题 的 技 
巧 ， 但 是 ， 本 章 处 理 问题 的 技巧 与 Fahrmeir 和 Kaufmann 的 文章 中 的 细 
节 上 还 是 有 很 大 差别 的 , 解决 问题 的 难度 也 比 他 们 的 更 大 . 如 果 既 不 考 
虑 随机 删 失 变量 ， 又 不 考虑 不 完全 信息 ,本 章 的 问题 就 和 他 们 的 问题 一 
HT. 

(3) 很 容易 验证 , 2.2 节 的 模型 包含 着 很 多 情形 ， 例 如 , 0-144, 二 
项 分 布 , Poisson 46, D 分 布 ， 指 数 分 布 ， 对 数 正 态 分 布 ， 以 及 Weibull 
分 布 ， 等 等 . 
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参数 估计 的 相合 性 和 渐 近 正 态 性 是 最 基本 的 统计 大 样本 性 质 , 为 模 
型 的 检验 奠定 了 一 定 的 基础 . 随 着 样本 容量 的 增多 , 估计 量 与 参数 的 真 
实 值 接近 的 程度 如 何 也 应 该 是 我 们 研究 的 课题 . 众所周知 ,通常 的 线性 
回归 模型 ， 有 大 量 的 文献 研究 了 其 参数 估计 的 相合 性 和 渐 近 正 态 性 以 及 
重 对 数 律 . 还 有 诸如 文献 [9], [43], [62] 和 [34] 研究 了 带 有 截断 数据 的 
线性 回归 模型 的 回归 参数 的 极 大 似 然 估计 B,, 的 相合 性 以 及 渐 近 正 态 性 . 
文献 [32] 研 究 了 在 随机 截 尾 的 情形 下 乘积 极限 估计 的 Chung-Smi rnov E 
对 数 律 , 文献 [31] 研 究 了 随机 截 尾 的 情形 下 分 布 函数 的 乘积 极限 估计 的 
重 对 数 律 ， 文 献 [46], [96] 研 究 了 带 有 不 完全 信息 的 随机 截 尾 的 模型 的 
重 对 数 律 . 

在 第 3 章 , 我 们 已 经 研究 了 带 有 不 完全 信息 的 随机 截 尾 的 广义 线性 
模型 的 未 知 参数 的 极 大 似 然 估计 B,, 的 相合 性 以 及 渐 近 正 态 性 等 统计 上 
的 基本 性 质 . 本 章 将 研究 带 有 不 完全 信息 的 随机 截 尾 的 广义 线性 模型 的 
未 知 参数 B 的 极 大 似 然 估计 B,, 的 重 对 数 律 与 Chung 型 重 对 数 律 . 


4.1 若干 条 件 与 记号 


本 章 将 沿用 第 2 章 的 记号 及 相关 的 概念 . 为 了 得 到 本 章 内 容 的 主要 
结果 ， 需 要 假设 : 
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缺失 数据 下 的 广义 线性 模型 


(C1) zTpe Oo, Vi> 1, YB EB, z; € X, HX £f. 
(C2**) Q(Bo)  Q(Boizi.2.--) = lim (nA; (Boi. ,7n)) 是 
q 阶 正定 矩阵 ， 其 中 A, (B:21.-++ ,zn) 如 (3. 1.25) 所 定义 . 
(C3*) v8.8» € B, 
| TiG:zT81) — T?(z:zT82)| < Li(z:z)llfi — Ball, 
| To(z:zT 1) — Y2(2;27B2)| € Lo(z:z)]lf — Ball 
|13(z:27B1) — T2(z;zT0;)| € La(z:z)]lfs — Boll, 
| Ta(:z 81) - T.(z:z783)| < L,(z;z)||P) — Boll 
KH E(L'(Zi:zi) < Lj «oc, i21, j = 1.2,3,4, b > 1. 
(C4) Eg(t*(z78)) > 0, VBE Bi z; € X, i21. 
附注 4. 1.1 本 章 中 保持 第 2 章 的 条 件 (C1), (C3*), (C4) 不 变 , 只 是 
将 第 2 章 的 条 件 (C2?) 改 为 (C2"“”)， 而 且 由 本 章 的 条 件 (C2*") 和 (C4) 可 以 


推出 第 2 章 的 条 件 (C2*). 所 以 在 本 章 的 条 件 下 ，RCGLMII 模型 的 极 大 似 
然 估计 是 几乎 处 处 存在 的 . 


为 了 记号 的 简便 , 令 wils) = eT Q(Bo)zit(zTBo). 那么 
w?(s) = eTQ(Bo)ziz t (7 Bo)Q(Bo) "es. 


进而 有 
e(3748)) = ETBE PT) QU 
i=1 i=l 
=e! Q(Bo)AnQ(Bo)"es. (4.1.1) 


tsio = E( at). 
i=l 


4.2 不 完全 信息 随机 截 尾 的 广义 线性 模 
型 的 重 对 数 律 与 Chung 型 重 对 数 律 


定理 4.2.1 £ (Cl), (C2**), (C3*) 和 (C4) FRF, tÆ B, = (Bin, 
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第 4 章 ， 不 完全 信息 随机 截 尾 广义 线性 模型 的 极 大 似 然 估计 的 重 对 数 律 


Bossi Ban)” XX B= (Bi, bo ,Ba)T 的 极 大 似 然 估计 ， 记 50 = 
(Pio0; B20,… ,Byo)?. 1 € s <q, MWA 


Se | ae eae y= 
P{timsup [rises (Bon ~ 9 verae) L 


(4.2.1) 
以 及 


P [imi Piman — so) = -VS | = 
(4.2.2) 
定理 4.2.2 在 条 件 (C1), (C27), (C3*) de (C4) 下 ， 如 果 inf E(uj(5)) > 


0B B, = (Bins oss Êm)? Æ B = (By Hos Bq)? ALAA 
4&it, 记 Bo = (Bro. Pz0,… -Byo)™, 则 有 


s log 2E n EP 
lim inf y/ max AUS — Bso|} 


=F el TQUA) e, Pas. 1<s<g. (42.3) 


附注 4. 2. 1 这 两 个 定理 不 仅 将 RCGLMIT 的 极 大 似 然 估计 房 , 的 收 
敛 速度 进行 了 进一步 的 刻画 ， 而 且 给 出 了 参数 的 几乎 100% 的 置信 上 
界 . 


4.3 若干 引 理 及 定理 的 证 明 


为 了 给 出 本 章 主要 结果 的 证 明 , 需要 下 面 的 引 理 . 
引 理 4. 3. 1(Petrov) 假设 (£,, i > 1} 是 一 个 独立 随机 变量 序列 ， 其 数学 
MAB EG = 0. 记 S = SEE). 如 果 37 > 0 使 得 sup (ki pen 


i=l 
— E 
< oo 以 及 liminf — > 0, 那么 
noc m 
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缺失 数据 下 的 广义 线性 模型 


> 
lim sup ———— — = |, as. (4.3.1) 
n \/2S? log log S2 
iE 参见 [67]，p. 274. E 
对 {-6 i 2 1) 运用 引 理 4.3.1, 有 
2.65 
lim inf = -1, a.s. (4. 3. 2) 
n>æ 4/25; log log S? 


9138 4.3.2 假设 (S, i> 1) 是 独立 随机 变量 序列 ， 其 数学 期 户 
Sr \y 
Eg; = 0. 52 = YE( E). 如 果 起 全 (全 rores) 


i=l 


{ ca 1} 是 一 政 可 各 的 , mA 


E(I5?) 
lim inf, / 98085; rz Sr max ba Re as. 


证 参见 [64] 中 推论 1. 3. 口 
命题 4.3.1 在 条 件 (C1), (C27), (C3*) e (C4) 下 , 有 


> ui (s) 
lim sup ETE 一 Vel Q(Bo)es. P-a.s. 


n= 


(4. 3. 3) 


证 由 引 理 3.1.4 可 以 得 到 E(wi(s)) = 0. 根据 (4.1.1) 和 引 理 
3.1.8, 有 


lim 
noc 


840) = tim eTO (Ao) PQ(p0)Te, = e? QBo)e. 


> Amin(Q(Bo)) > 0, (4. 3. 4) 
以 及 
E(wi(s)) = E[(e QU8)2.27 i (279) 0(8)"e.)"] 
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第 4 章 不 完全 信息 随机 截 尾 广 义 线性 模型 的 极 大 似 然 估计 的 重 对 数 律 


=E[(eTQ(Bo)z mataa] 
< (eT Q(Bo)e. e.)^ E[(zT z;t^ (zT Bo)) 7 


= (eTQ(Bo)?e.) E(llsittsT89)]|). 
l1<i<n n> 1. (4.3.5) 
容易 看 到 , eT QBoY'e, < q max (e? Q(Bo)es)” 成 立 , 进而 有 


(eT Q(Bo)?es)” < g$ < ox. 
注意 到 Yi > 1, 
liz; 7 B = (Ta [eiði (z — 12759) 

+aill = Yr f © (y= EFEO) fund) 
+ (ages 人 (i-i) fona] 

< 21672) - [ois (si — 1(789))* 
+ai(1- meal (v= ie Bo) unta) 
ta-o (/ Uberan]; 


(4. 3. 6) 


以 及 
E[o5 (zi — ta? Bo))*] = J (2 — b(zT80))G,(z)4F;(z) 
< pb (7B) < oc, 
so -a FL f NE keT9) reni) | 
MK me ) (fs (y- Libre dy) ) F,(2)dG;(z) 


a-v f sss (f tmn) 


(£o too punta) acit) 
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缺失 数据 下 的 广义 线性 模型 


«a-» [^ gi f. fime 
(o met rona) acc) 
=(1-p) a (= — biz Bo))*Gi(=)AFi(2) 
< (1- p) b (z7 f) < oc. 
类 似 地 , 有 


s|) f - iat Bo)) fin) | 


< "b (z1B) « oo. 
Meh (4.3. 6) AX 的 紧 性 ,得 到 
E(||zt(zT80)|*) < 54&72) WT) «oe. Vim 1 (4.3.7) 
因此 , 根据 (4. 3. 5) — (4. 3. 7)， 得 到 


sup E(w3(s)) € M < oc. (4.3.8) 
这 1 
再 注意 到 
log log S; (s) lim 128108 ne? Q(Bo)(An/n)Q(Bo)es 
n = hm 
n>% loglogn n= log log n 
-— log log ne? Q(Bo)e, =f, 
noc loglogn 
根据 (4. 3. 4) 和 (4. 3. 8)， 由 引 理 4. 3. 1 证 得 此 命题 成 立 . 口 


定理 4. 2.1 的 证 明 根据 T, (Bo) 在 B, 处 的 展开 式 以 及 向 量 值 函数 
的 均值 定理 ([35]，p. 278), 得 到 


1 a < 
T,&) = Í (ot, - Bo))at- (By ~ Bo). (4.3.9) 
再 记 H%(t) = Hn (Bo + t(Ên — Bo)). 34 n > no tt, 有 
5 a (Papin a c ( F EY HT) 
By —Bo=( | uya) “rao = ( | Za E, 


n 


a 
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第 4 章 ， 不 完全 信息 随机 截 尾 广义 线性 模型 的 极 大 似 然 估计 的 重 对 数 律 


1 * E 
m= ( | Mar) - ago. (4.3. 10) 
EIU 


n 


1 He(t zx = 
mas |( f Bae)? a 


à le Uf ) . 
= [(n4z)*( GJ A; Hz (4, Sar) 'G- f As Hz an 2 dr) 
0 


+ [n4 — Q(80) 


(f Ay ien JAn? Far) fn) + |naz! 一 Q(Bo)|| 
< |n4z!|- I touto] 


-[ i- An HS (t)An? 
0 


dt + |nA;' — Q(B. (4.3.11) 


由 引 理 3. 1. 10, (C2**) 和 定理 3. 2. 2, 408] ||n,,|| — 0, Pa,-a.s. 因此 , 有 


B, - Bo = (Qs) +m) Po) 
成 立 , 亦 即 
Bn ~ Bao = €F (QUI) +m) 089. 
再 根据 命题 4. 3. 1, 又 有 
MAPY 5 On P) 
Tun Qui) +m) Tao) 


noo V2 = = n 


E wils 
= lim sup— m 
noo v2nloglogn 


= VetQBo)e.. as. 


类 似 地 ,可 以 证 得 (4. 2. 2) RX. 
命题 4.3.2 & (CD, (C2), (C3”) 和 (C4 条 件 下 ,如 果 inf E(oj(s)) > 
0, 则 有 
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缺失 数据 下 的 广义 线性 模型 


- eT Q(Bo)e.. 


lim inf y/ loglogn , max 
noo n 1€i£n 
1<s<q. (4.3.12) 


iE spool 3.1 的 证 明 过 程 ， 知 道 也 (wk(s)) = 0. WR z, = 0, 
则 定义 LUE) 0. 因此 , 根据 条 件 Jn Els) > 0, 就 定义 好 了 


ECON (s) 
wils) 4.3.9, { 2H), i 
{agar #2 i}. 进一步 , 根据 ( | PIE zia 
一 致 可 积 的 , 而 且 
E(wz(s)) log log S2(s) 
BEC a 


max x E(k(s )) log log ne? Q(Bo)(An/n)Q(Bo)es 


ne} Q(Bo)(An/n)Q(Bo)es 
< M log log nes Q(Bo) (An /n)Q(Bo)es 
EE ne? Q(Bo)(A,/n)Q(Bo)e. 
+0 (n> ox). (4. 3. 13) 
由 引 理 4. 3. 2， 得 到 


loglog S2(s) 
Sii(s) 


3 deals) 


* max 
1<i< 


= liminf 
"E. 


use [log log net Q(Bo)(An/n)Q(Bo)es i 
= imar) neTQ(A)(A./n)Q(Boe, S| 2) 


ai log log n 
ey pd neTQ(Bo)e, ten 


从 而 , 想 要 的 结果 得 证 . 
定理 4.2.2 的 证 明 ”类似 于 (4.3.9), 有 


(Bo) = [ nt - — Ba)) at (Ê; — Bo) 


ws xao 


- T Hi (t)at- (Ê; — Bo). (4.3.14) 
0 
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第 4 章 ， 不 完全 信息 随机 截 尾 广义 线性 模型 的 极 大 似 然 估计 的 重 对 数 律 


如 果 fH;(B) =O, 那么 有 zk = 0, k= 1.2.… ,i. 因此 对 任意 的 B e B, 
有 T(B) = 0. 在 此 情形 下 , 总 可 以 取 B; = Bo. 所 以 ,假设 Yi > 1， 
Hi(B) # O, WA 


š 1 A = 
Bi - Bo = ( [11480 18, Bo)dt) B). (4.3.15) 
根据 (4. 3. 7) 和 Kolmogorov 强大 数 定律 ， 有 


FETT (Bo) — 0, Pg,-a.s. 
Meh (4. 3. 10) 得 到 


(f ma) "| < koc + tm 


因此 , Ve > 0, 存在 N(c) 使 得 当 n > N(s) 时 , AI <e. 对 n> N(e), 


nl/A 
nis 


m= XH < i < no, 有 


(log log n)!/4 ` 


log | 1 š = 
(ERE liek ( Í tis + 1(B; ~ Bo)adt) TB) 
HH (4. 3. 10) 和 命题 4. 3. 1 知 , 存在 某 个 na < i < n dif 


"E ef (po + B, — BoA) ri) 


= BPE er (Bo) +n)m(Ao)| 
> 2loglogi - (VeTQ(Bo)e. — £). (4.3.17) 


同时 注意 到 ,存在 充分 大 的 N, (e) 使 得 当 n > i > Ni(e) Bf, 有 


i 3 
i>e gy EEn / bebei cy, (4. 3. 18) 
n 1 


ERA (4.3.14) ~ (4.3.18), 又 有 
log log n 


« e. (4.3.16) 


P E(f Hi(Bo + tB; - &)))at) ^n) 


loglogn 
naf ENEN ax 
n n<i<n 


max 
1€i£n 


ie ( J (Bo + tB, - &))dr) Tu) 
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缺失 数据 下 的 广义 线性 模型 


loglogn 


max |e! (Q(Bo) + ni) T;(Bo)| 


n n2<i<n 


PEPE ( max JePQUR)T.8)] v mas JeF (QUI) +n.) (Bo). 
再 注意 到 
loglogn 


max |e!n;T;(Bo)| 


n na <i<n 


log logn 
s == max {MRB ' | - le? Q(Bo)T:(Bo)|} 
log lo, 
< was, Ind eBo y ETE was Jet QUA (Bo) 
E Beker 
< mex [n] 10607 E» 中 
(4. 3. 19) 
又 根据 (4. 3. 10) 和 (4. 3. 12), 有 
MITT 
mir SERES mas innt = 
最 终 有 
A. log log n E 
lim inf y/ = ` pax {i Bui — B.o|) 
m. log log n 
= tim int) 75757 . max lef Q(Bo) (1 + o(1)).089)] 
=. ie log log n Ç ~ 
= 了 | 
=Z eT Q(Bo)e,. 
想 要 的 结果 得 证 . 
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$55 
随机 回归 变量 情形 下 不 完全 信息 
随机 截 尾 广义 线性 模型 


历史 上 , 不 仅 有 很 多 文献 对 回归 变量 为 固定 设计 的 线性 回归 模型 进 

行 了 研究 , 而 且 也 有 很 多 文献 如 [72], [91] 等 也 对 回归 变量 为 随机 的 线 
性 回归 模型 进行 了 研究 . 既然 广义 线性 模型 是 线性 回归 模型 的 推广 ,而 
且 在 实际 应 用 中 , 特别 是 在 医药 学 和 社会 科学 中 , 广义 线性 模型 的 回归 
变量 经 常 也 是 随机 的 ,所 以 ,FahrmeirB27] 考虑 了 回归 变量 Xi, Xo. 是 
某 个 随机 矩阵 的 独立 同 分 布 的 观察 , 在 一 定 的 条 件 下 ,不 加 证 明 地 给 出 
了 此 种 模型 的 参数 矩阵 的 极 大 似 然 估计 的 大 样本 性 质 . 然而 , 在 实际 中 ， 
独立 同 分 布 的 情形 有 时 也 是 不 太 贴切 的 . 例如 , 在 生物 医药 学 和 社会 科 
学 的 研究 中 ,数据 可 能 来 自 不 同 的 人 群 、 时 间 和 地 点 ， 因 而 ， 数 据 的 分 布 
是 不 同 的 . 鉴于 此 , 丁 洁 丽 和 陈 希 瑞 (9 对 上 述 情形 进行 了 改进 , 得 到 并 
证 明了 回归 变量 不 同 分 布 情形 下 广义 线性 模型 的 参数 的 极 大 似 然 估计 的 
相合 性 和 渐 近 正 态 性 . 
我 们 在 第 3 章 、 第 4 章 研究 了 带 有 不 完全 信息 的 随机 截 尾 的 广义 线 
性 模型 的 极 大 似 然 估 计 的 相合 性 与 渐 近 正 态 性 以 及 重 对 数 律 等 大 样本 性 
JR. 本 章 我 们 将 借鉴 丁 洁 丽 和 陈 希 也 的 思想 和 方法 , 在 回归 变量 不 同 分 
布 的 情形 下 , 对 带 有 不 完全 信息 随机 截 尾 广义 线性 模型 的 参数 的 极 大 似 
然 估计 的 渐 近 性 进行 讨论 . 
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缺失 数据 下 的 广义 线性 模型 


5.1 随机 回归 子 情形 下 的 似 然 函 数 


在 本 章 , 只 讨论 自然 联系 的 情形 , 对 于 非 自然 联系 的 情形 在 此 不 作 
研究 . 我 们 仍然 沿用 2.2 节 中 的 术语 ,只 是 将 回归 自 变 量 由 固定 设计 的 
改 为 随机 的 . 假设 响应 变量 Y, 是 一 维 的 随机 变量 ， 回 归 变量 X; 是 q HE 
列 向 量 , 具有 分 布 函 数 IG, m; 为 回归 自 变量 X; 的 观测 值 ，X; 的 取 值 
WMA X, àX = UX, i> 1. BAA (Yn X;), = 1,2,… 是 相互 

i=l 
独立 的 ， 且 满足 
(1) 回归 方程 为 
E(Y|X; ==;) =m(z70), i> Y (5.1, 
其 中 未 知 参数 Fe B c R, WB 为 参数 空间 
(2) E X, = zi 的 条 件 下 的 条 件 分 布 六 |zi 为 指数 分 布 , 即 
PLY; € dy|X; = zi) = C(u)exp {0iy — (8, }u(dy), i>1, 
(5. 1. 2) 
其 中 0; = 278. 由 指数 分 布 的 性 质 有 
b(0;) = E(Y,|X; = zi) = m(zT0). 
n R: o 有 限 测度 ， 具 有 下 面 两 种 形式 之 一 : 

(D nu Æ (—oc. 00) 上 的 Lebesgue WEE, BI (dy) = dy, 这 对 应 于 
是 连续 型 随机 变量 情形 ; 

@ uaj} = 1. j > 1, 这 对 应 于 是 离散 型 随机 变量 的 情形 . 

假设 截 尾随 机 变量 U;, i = 1.2.... 相互 独立 但 不 必 同 分 布 ， 其 分 
HARO Gilu), dG;(u) = gi(u)u(du), 以 及 

Ki(dz) = ri(x)u(dx), i=1,2,.…. 
同时 {Uj} 和 ((Y,.X;)) 相互 独立 . 0.6; 和 Z, 的 定义 分 别 同 (2. 2. 3)， 
(2. 2. 4) 81(2. 2.5), W (Zi ai. ði X;), i= 1.2,… 为 相互 独立 的 观测 样 
本 . fE X, = zi 的 条 件 下 ;的 条 件 分 布 密度 和 条 件 分 布 函数 分 别 记 为 
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第 5 章 ， 随 机 回归 变量 情形 下 不 完全 信息 随机 截 尾 广义 线性 模型 


f(y:z7B) = C(u)exp (z7By — b(z78)), 
Fi(z;£7ß) = Hi C(y) exp (z? By — b(z7 B) ) duy) 


= P{Y; < z|X; 2 zi). 
4 
Gily) = 1— Gi(z), Fi(ziz7B) = 1 — F(z:zIB), i=1,2,:.. n. 
又 假设 
P{6 =1|Y=y, Ui =u, Xi =z) =p, WẸ y <u, Vr E Xi; 
(5.1.3) 
P(ó;20|Y;2y, U, =u, X; 2z] 21—- p, WẸ y< u, Vz € Xi. 
(5.1.4) 
则 有 
P(Y; < y, U; «u[Xi ==) = P{2 < y|Xi — z)P(U; < u}, 
Vy,u,z. (5.1.5) 
事实 上 , AU X; 是 离散 型 的 , 则 有 


P(Y; € y, U; <ulX;=2,} = PU S Ui us Ki 


P{X; =2;} 
= P{Y; <y, Xi = 2,}P{U; < u} 
E P{X; = zi) 


= PY < y|X; = z;)P(Ui < u). 


3138 5. 1.1 
P(Z; < z, o; = 1, ó; = 1|X; = zi) 


=p Í Group. 6.1.6) 
P{Z; < z, 3 =1, ó, = 0|X; 2 zi) 

=n - f ‘ Fir zT B)AGi(y) 

=ü- f. Finaal 61D 
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缺失 数据 下 的 广义 线性 模型 


P(Z «s a mox; ==) = Í` F.nzfayaG,0) 
= f? Fcafiatuttp) G. 1.8) 
ME 仅 就 离散 型 的 情形 证 明 (5. 1. 6)， 连 续 型 情形 类 似 可 证 . 
P(Z <z, o; — 1, 6 - 1|Xi =š?) 
=PíY; < z, Y; < Uj, & =1|X;=z;) 
= E(Ity;es. vie; &=u)|X i = zi) 
= E[E(1,:.... views, 521) | Ya, Ui. Xi =#;)|%; =z; 
= E[roietoiecaE Ut -n (Yi Uis Xi =a) |X; =z] 
E Ë f rius U;=u, Xi - zi) 
J.J: 
“PLY; € dy, U; € du|X; = zí) (5.1.9) 
e [ For exi = netos e au} 
- vf GilydF(y) =p f Gy) Gn (y). 


其 中 (5. 1. 9) RAF (5. 1. 3) 和 (5. 1.5). 同 理 可 证 (5.1.7), (5.1.8). O 

Ra 为 Z; 的 观测 值 ， a; 为 o; 的 观测 值 ，8 为 ó, 的 观测 值 . 由 
(5.1.6) ~ (5. 1. 8) 可 以 得 到 Vi > 1 fE X, = zi RIEF, (Zi. ai. di) 的 
条 件 分 布 为 


(peiora DJ? [a — (sia? Bale] 
[FG 80060] T nz) }. (5. 1. 10) 


5.2 若干 引 理 


È Zin = (Zi: Zi). zy = (zz en) > Qn) = (oi. 
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Xy), Sin) = (06 ,6n), Bln) = 


先 给 出 下 面 的 引 理 ， 再 给 出 随机 回归 子 情形 下 极 大 似 然 估 计 的 存在 
性 与 相合 性 . 
引 理 5.2.1 Vn21 有 
P{Z(n) < z(a): Qin) = à) 9() = Gn)|X1 = zi. Xo 22, ++} 

= P{Z (ny < za = Tin): b(n) = 5) X =m. Xn = z,) 

= [[P{Z < zi ai = 35 6; = $|X; = zi}, 

i=l 
(5. 2. 1) 
P(Zi < zi, w = ui, ó, =6|X1 =m, X> = z>, .…} 


- P(Zi < zi, aij = ài, à = ,|X, =m, .…， POLI 
=P{Z < z, eí = @i, 6 -95|Xi;-zi) Vi>1, (5.2.2) 
其 中 Zin < zo) 指 对 所 有 1 < iEn Z; < zi. 


XE 仅 就 离散 型 情形 进行 证 明 , 连续 型 的 情形 类 似 可 证 . 事实 上 ， 


P{Z0n) € Zin) Qn) = An): 90) = Sin) |X = zi , Xn = 24) 
A P(Z(, < 2(n)s am = Tin) O(n) = õn): Xi=m=,,---, Xn =m.) 
P{X, =%, +++, Xn = Sn} 


= (P{z <n, m=, ñ = ñ, +; Z, < z, On = Gr, bn = fn, 
和 = Xn =z,))/ (P0 ==) + P{Xn ==,)) 

= (P{2 <a, =m. =, Xi =m) … 
P(Z, < Zn: On = G,, Ôn = Ön, Xn =2,})/ 
(P{X1 =21} --: P{Xn =2n}) 


= I[P(z, < sy =F, 6 = 064|Xi 8). 


i=1 
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这 证 明了 (5. 2. 1). (5. 2. 2) 类 似 可 证 . 
附注 5. 2. 1 由 引 理 5.2.1 知 , 在 P(|Xi = zi. X2 = 22.) F, 
Ui, i> 1 相互 独立 ,Yi, i > 1 相互 独立 ,， (Zi ai ði), i> 1 相互 独立 . 
由 (5.1.10) 和 (5.2. 1) %0, ((Z1.01.61). , (Zn,an,6n)) 在 给 定 
X, = zi. +. Xn = En 的 条 件 下 的 条 件 分 布 为 


[L {PEET (a — pF(za z" B)g(z0)]° 


i=l 


(1-3) 


[Fess] Baz] nda) }, n> 1. (5.2.3) 
对 应 于 (5. 2. 3) 的 条 件 概率 测度 记 为 Pg{ |X ==. Xo 2o). 
同时 ， 令 EZ) 和 Vagit) 分 别 表示 在 条 件 概率 测度 
Pg{ -|X1 = zi. Xo = za, …} 下 的 条 件数 学 期 望 和 条 件 方差 . 令 By 
表示 p 的 真 值 . 为 了 记号 的 简单 ,再 令 
Ezuzae=(.) = EGT), Vartit (.) = Vargi.) 
由 (5. 2. 3) 8 (Ze. X)... (Zo. On, Ôn: Xn) 的 联合 分 布 为 


n 


JI {Peest O] -PE eist ae 


i=1 
` [Fa zT B)o 20] ulaz) -i(zi)u(dz)}, n2 1. 
(5.2.4) 
进而 得 到 ((Z1, 01.01. X 1). (Zu Ons Ön: X n)) 的 似 然 函 数 : 
L(B; Zi1,01. 61. X1,..*: ,Zn On ôn, Xn) 


= TI {0 OU: XT8)]"* [a p) F(Z XT8)s(2)] 


[FG XTBys 29] m9). nz G.2.5) 
对 应 于 (5.2.4) 的 (无 条 件 ) 概率 测度 记 为 Pal). 同时 ， 令 Eg() 和 
Varg(-) 分 别 表示 在 (无 条 件 ) 概率 测度 Pa(.) 下 的 数学 期 望 和 方差. 为 了 
记号 的 简单 ， 再 令 P(-) = Ppu(.) E(-) =Eg,(-) 和 Var(.) = Varg,(-). 对 
(5. 2. 5) 取 对 数 并 去 掉 与 8 无 关 的 量 得 到 对 数 似 然 函数 为 
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MES x [aids log (Zi: XFA) + aill — õi) log F(Z; X78) 


+ (1 —a;)logF(Zi: X7 8)] 
= In(B; Zi. 01.01, Xis- p Za: 05.04 X4). (5.2.6) 


其 中 1, (B: Zi 01.01.21. s Zn: 005.5) 为 (3.1.1) 定 义 的 对 数 似 然 
函数 . 由 引 理 3. 1. 2 有 得 分 函数 


EE 


= x; [a.z — (X78) 
i=l 


1 Mid n 
te - A gr J- uf Gs XTB)uldy) 


MEL I ET mm wt XT] 


zET(B:Zi.o1,.0),X1. s Znan, ón, Xn), (5.2.7) 
其 中 T,(B: Zi 01.0).2). 7 Zn On, 6,.2,) 即 如 (3.1.11) 定义 的 得 分 
函数 ,以 及 
#9) = 2 In) 
H;(8) = K. 


E 2x: xii (X78) 
| 1 < 2 
+ oi(1— à) [riri (Í` ufa: X?Byu(dy)) 
1 A d T 
suo]... Mw xTytao| 
1 .XT 3 
+ (1-0; lag xis (I, irt) 


een eee 
Ham | sx 2 


= Hn(B: Zi.01.61.X 4,7. Znan, 6n. Xn), 
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其 中 H,(B: Zi 01.01.27 2.an.bn,zn) 如 (3.1.24) 所 定义 . 
Ay (B) = An(B: T1, En) = Ep7 (Ta (BNT (8))7) 
= ES" HB) = An(b: 1, -++ ,zn), 
其 中 A, (8:21. En) 如 (3. 1.25) 所 定义 . 
把 对 数 似 然 方程 
T,(B) =0 (5.2.8) 
的 解 记 为 
B, = B. (Zi m9 Xi ,Zny on 08 Xn). (5.2.9) 
由 T,(B) 和 Tz; (B) 的 表达 式 (3. 1. 11) 和 (5. 2. 7) 以 及 对 数 似 然 方 程 
(3. 1. 12) 和 (5. 2. 8)， 易 知 
B, = B (Zi o9 Xi , Zn, an,n: Xn). (5. 2. 10) 
其 中 B, (Zi 02,91, 21, 7 Zn, On, Ôn, 2n) 40 (3. 1. 13) BUE X. 


5.3 若干 假设 


给 出 下 列 假 设 : 

(C) XTP € Oo, Vi > 1. VB €B, P-as; X; c X. X 是 紧 集 . 

(G2) 3c > 0, HIM n FAB, Anin( > 6X) > en, Pas. 

i=1 
(C2*) 3e > 0, co > 0 使 得 当 充分 大 时 ， 
Aa [Y xx?) > en (DO XiXT) > con, Peas. 
i=1 i=1 

(CG2*) Q(B Xi, X2.) = lim (nA; (Bo: X3. Xn) R: q 阶 
正定 矩阵 ,其 中 A, (B:21,-+-2,) in (3.1.25), Q(Bo:zi 22. ---) 40 (C277) 
所 定义 . 

(C3) Vfi. B» € B, 

| Ti (z:@7B1) - T(:z783)| < 六 (zz 一 Bo， 6.3.0 
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| T2(z:zT81) — Y2(z:a7B2)| < Lo(z:z)| i — Bol), (5.3.2) 
| T$(:zT8:) — T3(2;27Bo)| < La(z:z)|8:— B2], — 5.3.3) 
|Ta(z:z781) — T4(z:27B2)| < La(z:z)|&i — Ba], 66.3.4) 
EB, supE(L*(Zi X) (LZ; Xi) > N)|Xa. X2.) > 0 (N > o9), 
这 1 
P-as., b» 1. 


(C3*) Vfi.B» € B, (5.3.1) — (5. 3. 4) Jr, 此 处 
supE(L/(Zi: Xi)|X1, X2) € L; < œ, P-a.s., j =1,2,3,4, b> 1. 
i21 


(C4) Eg (P(X78)) > 0, P-as., VB € B. í > 1. 


5.4 随机 回归 子 情形 下 随机 截 尾 模 
型 的 极 大 似 然 估 计 的 渐 近 性 


针对 前 述 条 件 , 将 给 出 在 随机 回归 子 情形 下 带 有 不 完全 信息 和 随机 
鹤 尾 的 广义 线性 模型 的 参数 的 极 大 似 然 估 计 的 若干 渐 近 性 . 
定理 5.4.1 在 条 件 (Cl), (C2), (C3) 和 (G4) 下 ， 存 在 一 个 随机 变量 序 

7l (B,) 满足 

G) P(Tz(8,) = 0|X1, X». --- )21, P-as.; 
Gi) Ve > 0, P(IB, — Bol] < e|X1, X2.) — 1, P-a.s.; 
Gi P((A8:38.-X4)) B, Bo) Sz | Xi, Xa ) > 

D(z). Vr ERY, P-as, AP d(z) 表示 q 阶 标准 正 态 分 布 N(0,7,) 

的 分 布 函数 . 

证 任 给 z1,z2.… ,zn,…， 视 条 件 概率 测度 P(-|Xi- zl， 
X; = 72, …} 为 第 2 章 的 概率 测度 PL}, 注意 到 在 给 定 Xi = zi, 
X = z>. … 时 ,此 处 的 极 大 似 然 估计 B, 等 于 第 2 章 的 极 大 似 然 估计 
B, = Bos Ói mss Zn. Ons Ôn Tn). 于 是 由 附注 5.2.1 知 定理 
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3.2. 1 的 条 件 满足 ， 故 有 
P(1;(B,) =0|X1 = zi, X> = z, +} 
= P{T,(B,,) =0|Xi = zi. X; =z>, +++} 5 1, 
由 此 即 得 (i). 同 理 可 证 (ii) 和 (iii). 
附注 5. 4.1 在 定理 5.4.1 的 条 件 下 , 有 P{T*(B,) = 0} — 1, 以 及 
ve » 0 P{||B, — Ao] <<} 5 1 
类 似 于 定理 5. 4. 1, 可 以 证 明 下 面 的 定理 . 
定理 5.4.2. 在 假设 (C1), (C25), (C3*) fe (04) 下 ,存在 一 个 随机 变量 
序列 (B, ) 满足 
G) P(3ni, T;(8,) 20. Vn 2 m|X1,X2,---} = 1: 
Gi) P(B, > Bo|X1.X2,---} = 1, Pas; 


Gi)  P(ARB Xi .Xn)(By - Bo) Sz [Xi Xo) 5 

P(x), Vz € RI, Pas. AP d(z) 表示 q 阶 标准 正 态 分 布 N(0, 了 1,) 

的 分 布 函 数 . 

附注 5.4.2 在 定理 5.4.2 的 条 件 下 , 有 P{3n, TBn) 20, Vn > 
n) = 1, 以 及 P(B, = Bo} = L 

附注 5.4.3 在 本 章 的 模型 中 ,如 果 截 尾 变量 取 为 oo, 也 不 考虑 
不 完全 信息 , 那么 (C3*) 和 (C4) 就 自然 成 立 , 而 且 由 [23] 的 定理 3 的 条 
件 可 以 推出 我 们 的 条 件 , 故 [23] 的 定理 3 就 包含 在 我 们 的 结论 中 . 

还 有 下 面 更 精细 的 结果 . 
定理 5.4.3 在 (C1), (C277), (C3*) fo (C4) HF, 如果 B, = (Bin, 

Bon Ban)? 是 B= (By. ba Bg)” 的 极 大 似 然 估计 ， 记 By = 

(Pio. B20,… ,Bgo)"，1<s<g, 则 有 


P) lim sup, |——(@., — Ao) = VeTQ(Bo: X1. Xa.---)e. 
nao V2 A = n 


=1, P-as., 


xis) 
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以 及 

P} lim inf, /——"— (Ben — Bo) = —VeTQ(Bo: X1. Xa. --- )es Xo] 
nce V 2loglogn 
= 1. P-as. 


附注 5.4.4 在 定理 5. 4. 3 的 条 件 下 , 有 


2 timsup T s sn — Bs0) = Vet Qon ases) = 1, 
noo V 2loglogn 


以 及 
«)- 1. 


"” F 
| Se, NON TO oT as 
{tian inf PE (Bsn — Bso) ef Q(Bo:zi. zo 


5.5 具有 随机 回归 子 的 多 维 广义 线性 模型 的 渐 近 性 


上 一 节 讨 论 的 是 自然 联系 函数 下 具有 随机 回归 子 的 不 完全 信息 随机 
截 尾 的 一 维 广义 线性 模型 的 极 大 似 然 估 计 的 若干 大 样本 性 ， 本 节 将 讨论 
具有 随机 回归 子 的 多 维 广义 线性 模型 的 极 大 似 然 估计 的 相合 性 和 渐 近 正 
态 性 . 有 兴趣 的 读者 可 以 对 此 种 情形 下 的 重 对 数 律 和 中 偏差 进行 讨论 ， 
也 可 以 结合 不 完全 信息 和 随机 截 尾数 据 建立 非 自然 联系 下 具有 随机 回归 
子 的 广义 线性 模型 ， 再 讨论 该 模型 的 各 种 大 样本 性 . 这 些 问 题 的 难度 相 
当 大 , 希望 有 兴趣 的 读者 做 进一步 研究 . 

对 于 模型 (5. 1. 2)， 本 节 假 设 y; ER 是 y 的 第 i 个 观测 ; X, 是 
q x r 随机 和 矩阵 , 是 回归 子 X 的 第 i 个 观测 ， 其 分 布 为 Ki ， 且 对 于 不 同 
Wi, Ki RUHE. 样本 (y; X), i = 1.2,… 相互 独立 ， 


= fo: 6c rf exp{O"y}dyi(y) < x}. 


O jit o MAM, BÆ BRAM. 引进 以 下 记号 : 

Ə2b(0) 

00 007” 

V(s) = (8: ||B — Boll < z). £ >0 充 分 小 使 得 V(e) € BY, 


0; = XTP, X(0) = Cov(y) = 
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fi(B) = XiX(X78)XT, 


bi (B) = EQGE(XTB)XT) = ES 


Falp) => SiP) F;(0) =) SEB),  F,, = Fn(Bo), 
i=1 


h, (8) = 1E 8) — F;(0)), 9X) = sup IX E(XTB)X?| 
i BeV(e) 
我 们 先 给 出 两 个 结果 , 然后 再 给 出 它们 的 证 明 . 


定理 5.5.1 假设 
G) 对 菜 个 常数 c 和 无 穷 多 个 六 E(X XT) > cl, 这 里 J 为 
q r 6 5 AER; 
Gi) (Xi, i> 1) 是 一 臻 可 积 的 ， 即 
lim sup [ IX l'a K;(X) = 0; 
|X|>N 


Noi» J 


(ii) MRA eo > 0, (g. (Xi), i> 1) 是 一 臻 可 积 ， 即 


lim sup f Gey (X)d4K,(X) = 0. 
IXI>N 


Nomi» 

则 有 
Ên 5 Bo (n> e), (5.5.1) 

以 及 
FÌ- (Ên - Bo) $N(.I) (no0) ^ (52 


定理 5. 5. 1 给 出 的 是 极 大 似 然 估 计 B,, 的 无 条 件 下 的 相合 性 和 渐 近 
正 态 性 . 下 面 的 定理 给 出 极 大 似 然 估计 $, 的 在 条 件 X1,XX2,… 下 的 相 
合 性 和 渐 近 正 态 性 . 
定理 5. 5. 2 假设 
G) 对 某 个 常数 c 和 无 穷 多 个 i EQGXT) > cl, 这 里 了 为 
q 阶 单位 矩阵 ; 
Gi) (IX, ¿> 1) 一 致 可 积 ， 即 
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lim wf IXaK;(X) = 0; 
Noi21JIX|I»N 


Gii) MEA so > 0, b> 0, (9, (Xi), i> 1) —# TAR, PP 


lim wf. 95, (X)dK,(X) = 0. 
NƏ i>1 JiXI-N 


则 有 
P(B, > BolX1,X2,---} = 1a, (5.5.3) 
以 及 
P{F(B,, — Bo) S z|X,.X>.-.-] > O(a) as, Vz € RY. (5.5.4) 
(5.5. 4) 也 等 价 于 
sup [pid — Bo) <2|X1,Xo2.---}- %(z)| > 0 a.s. 


为 了 证 明 上 述 两 个 定理 , 给 出 下 面 的 引 理 . 
引 理 5.5.1 在 定理 5.5.1 的 条 件 下 ,存在 常数 cl.cz 0 < cl < ca < co, 
使 得 对 任意 的 BEV(so), 有 
nel € FI(6) € nci. (5.5.5) 
iE 考虑 
9} (B) = ji zX(zTB)z T dK,(z) + f zX(z T B)z T dK;(z) 
lzl>N <N 


lls: 
= Jin t+ Jia. 
B Ja <sup f Geo(@)AK (a). 再 由 条 件 Gii) 知 ， 对 于 任意 的 
i21 J|z|>N 
£ > 0, 存在 N >0 使 得 对 BeV(so), # Ja €egl. i > 1. 
又 由 指数 分 布 族 性 质 知 ， 对 于 给 定 的 N， 存在 常数 c3, 使 得 对 于 
|Xi| < N, B € V(eo), A X(XTB) < eI. i> 1. 从 而 知 


Ji» € ea [ zzldK;(z) < csqN2I. 
JEzl<N 
H co = ep + csqgN2， 就 得 到 (5. 5. 5) MAW. 
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再 由 指数 分 布 族 性 质 知 ,对 于 给 定 的 N， 存 在 常数 ci， 使 得 对 于 
|X,| < N, B € V(eo), 有 上 (XIB) > cl. i > 1. 从 而 知 
FO zJaza f _ zmtamu) 
IzISN 


= E(X;X?) 一 f zzl!dK;(z). 
N 


Il»? 


由 条 件 (i) 和 (ii), 知 对 任意 给 定 的 < > 0, 存在 N, 使 得 


从 而 得 到 (5. 5. 5) 的 左边 . 


引 理 5.5.2 在 定理 5.5.1 的 条 件 下 ,人 FX(B): n>1} AV eo) E 
度 连续 (关于 几 委 都 连续 )、 


证 根据 F) 的 定义 只 需 证 明 户 (B) 具有 等 度 连续 性 . 考虑 
IBD -AP [lez TB)" ante) 
J|z|> N 
T8. eT |a K. 
S |zX(z78:)z7 |aK;(z) 
* d lz(Z(z78:) — X(zT83))z aK; (x) 
= Ja + Jiz + Jiz, 
根据 条 件 (iii)， 对 任意 给 定 的 = > 0, 存在 N, 使 得 当 81.85 € V (eo) 时， 
E € 
Ja < y Jo < y 
Ay X(XT8) f£|X| < N A V (e0) 上 是 连续 的 ,当然 也 是 一 致 连续 
的 . 从 而 对 于 上 述 给 定 的 => 0,， 总 可 以 找到 充分 小 的 7 0,4 
Bi,B2 € V(eo), 且 |B1 — Bl < n if, 有 


|#(XT0,) - E£(X78;)| < 


£ 
3N? 
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进而 有 


Jc J |zzT|d K;(z) < 
IXI<N 


€ 
= 3N2 F 


REIER |; (0) — J(B2)| < e. 引 理 5.5.2 得 证 . 
定义 事件 
Aven) = Xi 8 8s € V(eo), B |P — Bell < n f 


az i 
n 


F; (B1) ~ F;(Bs)| < €}. 

3085.53 在 定理 5.5. 1 的 条 件 下 ,对 任意 给 定 的 = > 0, Sn EA 
时 有 PP(4u(s,m)) >1 一 =. 
证 “由 条 件 (iii) 知 , 对 任意 给 定 的 = > 0, 存在 充分 大 的 N 使 得 


assaka) <=, i> L 
lzl>N E 


m(X) = g. (X)I(X| < N), g2(X) = g. OIX] > N), 
ti = E(go(X;)). 立即 可 得 


0 <t, < 


i21 (5.5.6) 


eum 


已 知 对 于 任 一 R > 0, 存在 Ne, 使 得 jim Nn = eo, UB (gs, > R) C 
{|X| > Nn). 从 而 有 


sp f 9: (z)dK;(z) +0. R — oc. (5.5.7) 

121 Jo (z)>R 

FHU €; = g2(Xi) — ti. H (5. 5. 6) (5. 5.7) 可 知 ， 对 充分 大 的 N, 有 
supE(61(|&| > N)) < E(eo(Xi)(deo(X:) > Ne) +É < z. 


所 以 16; i> 1) 满足 引 理 1. 3. 7 的 条 件 ， 从 而 有 
E > (eX 75) 50, n- cc. 


由 此 有 
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p[i exs E) >1-< (5.5.8) 


i=1 


找到 充分 小 的 n> 0, 25 Bi.B2 € V(co), H p Bll € n tf, 有 


X 


|= 5.81) - FP: <e. 


3I% 5. 5. 3 得 证 . 
定义 事件 
Baleen) = Dti Xn: H 8o € V(ea), RI — Boll < n Pt, 


有 zol = hn(B2)| < £} 


引 理 5. 5.4 在 定理 5. 5. 1 的 条 件 下 ， 对 任意 给 定 的 = > 0, 5 n Sr K 
Hd P(B,(e.n)) >l-e . 


证 根据 引 理 5.5.2, 对 于 任意 给 定 的 © > 0, 总 可 以 找到 充分 小 的 
m > 0, 4 81.8» € V(so), H.||ñ, — B2l| < m B, A 


|) - EFB) 
RIS 5.5.2, SHE e» 0, 起 可 以 找到 克 分 小 的 内 > 0, E 


分 大 时 , 有 
(eh) 21-6 

因此 ， 对 于 任 一 给 定 的 = > 0， 当 事件 A, (E.m) 发 生 ,以 及 bip e 
V(eo), B | — Ball S n = min(m. no) B, 有 

Is) ~ 1a(B2)| < | Fs (Br) - LF (2) 


= e, 


<> 


+ [E481 - 158) 


538 5.5.4 得 证 . 


引 理 5.5.5 (i) 在 定理 5.5.1 的 条 件 下 , 有 
sup |hn(B)| BO (mn 00). 
BEV (z0) 


92 


第 5 章 ， 随 机 回归 变量 情形 下 不 完全 信息 随机 截 尾 广义 线性 模型 


Gi) 在 定理 5.5.2 的 条 件 (iii) 下 ,有 


sup |h,(0)) 30 (n — o). 
BEV (so) 


iE 
hf) = 137 (Xi5(XTA)XT - Et soa) = 1e. 
i=l 


n 
i=1 
显然 (6j, i> 1) 相互 独立 , H Eg; =O. id 
M= sup f n eun) < oo. 
对 充分 大 的 N, 有 (6| > N) C (ga (zi) > N — M). 因此 存在 R> 0, 
AL lim R = eo 使 得 
i sup E(I:II(E:] > N)) < sup (ga, QC). (zi) > N — M)) 
+ MssupPí(g. (zi) > N - M) 
il 
< sup (g. (X;)1(l6.| > R)) 
M ^ 
* qe Sep EX 106.1 » R)). 
由 条 件 (ii) 和 定理 5.5.2 条 件 (iii), 易 知 {&;, i> 1) 满足 引 理 1.3.7 
的 条 件 , 所 以 对 B eVY(so) 有 
hn(B) 50, n+ oc. (5.5.9) 
给 定 = > 0, 由 引 理 5.5.4 知 ,存在 7 > 0 和 mi > 0, 使 得 当 n > m Bt, 
" P(Br(e.n)) >l-e. 
在 V(eo) 上 找 一 个 7 网 {B1,B2,… Bin}. 从 (5.5.9) n, FE LE 
no > 0 使 得 
PÍ max in(B)| Se} 21-25. n>n. 


1<j<m 
对 任意 的 Be V(so), 存在 j. 1 < j < m, 4 8 — Bj|| < n. 所 以 , 4 
max |h.(6;)| <e, B B,.(z.n) 发生 时 ， 有 
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Ihn(B)| € Ihn(B) — h,(B;)| + Ih«(8;)] < 2€ 


因此 , 对 任意 的 n > max(m.n2), 有 


由 = 


类 似 可 证 . 


P{ , ANE. Im ) < 2 e} > >1- 2e. 


> 0 的 任意 性 ， sl 5. 5.5 的 论断 (i) 得 证 . 9138 5.5.5 的 论断 (ii) 


引 理 5.5.6 在 定理 5.5.1 的 条 件 下 ,存在 常数 ddz, 且 0< 由 < 


"p 


d; < co, 使 得 
P(din € Amin(Fn(B)) € Amax(Fn(B)) € don, B € V(eo)) > 1. 


证 根据 引 理 5. 5. 1、 引 理 5. 5. 5 的 结论 (i) 以 及 


Fn(B) = Fi (B) + nln (B) 
即 得 到 引 理 5. 5. 6 的 结论 . 口 


引 理 5.5.7 记 7 维 标准 正 态 分 布 为 N (0. I), r 维 随机 向 量 X 69562- 
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HHA mx (t). 如 果 对 于 任意 的 1E Rr, 
ea < my (t) < G+, 
那么 对 任意 a > 0, 存在 = > 0f R > 0, 403 i < ner, 有 
sup |F(z) — d(z)| < a, 
工 ERr 
此 处 F(x) € X 的 分 布 函数 . 
定理 5. 5. 1 的 证 明 id N,,(5) = (B: |F: (B - Bo)|| < ó), 
ON,(5) = (8: IIFš(8 — Bo) = ó), 
1,(B) = X (y X78 — b(xT0)), 


sn(B) = X.(y; - (X78), sn = s (Bo), 


i=1 
V. (B) = Fra? F, (BF; 


由 引 理 5.5.6, 有 Anin(Fn) Š oo. 所 以 对 任意 => 0, n > 0, 4 n 


第 5 章 随机 回归 变量 情形 下 不 完全 信息 随机 截 尾 广义 线性 模型 


充分 大 时 , 有 

P{D(N,(6)) <n} > 1— z, (5. 5. 10) 
这 里 D(A) 指 集 4 的 直径 . (5. 5. 10) ARF n 充分 大 时 ， 

P(N,() C V(eo)) > L—e. (5.5. 11) 


根据 引 理 5.5. 3 和 (5.5. 11) All, 4 n 充分 大 时 ， 
P{|F,(B) — Fn| < ne, BEN,(5)}>1-2e. (55.12 
(5. 5. 12) 也 可 以 写成 
P(-enF;! < V,(8) — I < enF;;1, Be Nn(6)} >1-2e. 
由 上 式 和 引 理 5. 5. 6 Al, 对 于 任意 给 定 的 = > 0, 当 nn 充分 大 时 ， 
P{ m, 1w(B) -1| < die) >1=3e. (5.5.13) 


(5. 5. 13) 蕴涵 着 对 某 个 常数 c > 0 以 及 充分 大 的 n, 有 
P(F,(B) > cFn, B € Nn(6)} > 1— 3e. (5. 5. 14) 
4 BEAN, (5). 注意 到 如 (Bo) = sn in(Bo) = —Fn(B), 再 由 Taylor 展 
开 式 知 
1 
148) 1,00) = (B ~ Bo) an = (8 - B0)" ( [ à.) (8 - Bo) 
0 
Bu = Bo + u(B — Bo). (5.5.15) 
因为 0< w < 1, 所 以 B, e N,(5). RAAB e ON,(5), 所 以 有 
(B — Bo)" F,(B — Bo) = 6, 
以 及 
|B- Bo)T8n| < 5l snk 
从 而 由 (5. 5. 14) 和 (5. 5. 15) 知 ， 对 于 充分 大 的 mw 有 
PÍ.) - (8) < SF; sall- ŽE, B € v) > i-e 
(5. 5. 16) 
FI E(lE snl? | Xx. X5) = q, 则 有 
sa hl < S) 21- sh. 
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对 之 取 期 望 立 得 
P[IF; snl < T) >1- 35. (6.5.17) 
AS < z. (5. 5. 16) A (5. 5. 17) 知 ， 


PÍ sup 148) <In(Bo)} > 1 — ae. 
BEIN, (5) 


注意 到 , “4 sup(L,(8) : B € ON, (5)} < L,(Bo) B$, L,(8) 在 NN,(6) 上 有 
ARRAK B. 因 F, > 0, H. BERK, # Ê R: l(b) tE B 的 极 大 值 ， 
也 就 是 说 , B 是 Bo 的 极 大 似 然 估计 . 由 此 知 ,对 充分 大 的 n, 有 
P(B, € N,(6)) > 1— 4e. 
由 上 式 和 (5. 5. 10) 知 ,对 任意 给 定 的 < > 0, 以 及 充分 大 的 n, 有 
P(IlB, — Boll < z) > 1 — 5s. 

至 此 完成 了 B 的 相合 性 证 明 . 下 面 再 证 明 B 的 渐 近 正 态 性 . 

记 B,-BoroF t, Bol] -1. 则 对 于 B, € ƏN,(0), fH 
(5.5.15) 有 


ött 


ln(Bn) = ln (Bo) + 5t™ Fy sn Ja (5.5.18) 


1 1 
EU, J, = r f (1—w)(V,(B,) — I)du-t, B, = Bo - uóF,?t. 由 
0 


(5. 5. 13) 知 ,对 任意 的 < > 0 以 及 充分 大 的 n, 有 

P(E,)21-e, (5.5.19) 
XH, E, = Quoc Xn: sup [V.(8) - I| € e}. 

BEN. (5) 


对 (Xi Xn) € Ens BUNA I| < TEE, 对 (5. 5. 18) 两 边关 
Fyny- ys 取 期 望 有 
ell-: ME < g( ttp; k X,- 1+ Xa) < +É 


iH, (X i... Xn) € E, |t| = 1, 0 < 5 < R, RR 是 给 定 的 常数 . 
给 定 o0, 根据 引 理 5.5.7 以 及 = MR 的 任意 性 ,对 于 
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Qt. Xn) € 及 以 及 充分 大 的 加 有 
sup [P(F s, Ez|Xi--.X,) - %(z)| <a. 
由 此 及 (5. 5. 19) 知 , 对 充分 大 的 加 有 
sup |E(F; s, <=) - %(z)| < a + e. 
由 e 和 a 的 任意 性 , 我 们 有 
Foi, 5 N(0.1), n> œ. (5. 5. 20) 
因 
1 ^ ^ & 
ine [ F,(B.)du- (Ên — Bo); Bu =Ê, + uB, — Bo), 
0 
我 们 有 
1 lx 1 1. 
F's, = Fl, — Bo) + | (Vn(Bu) — Dau. FÈ (Ê, ~ Bo). 
(5.5.21) 
(5.5.19), 有 
[v (BÀ - 2865.0, no 
0 
Tidi (5.5. 20) 和 (5.5.21), 有 F2 (B, — Bo) = O,(1), 因此 
1 l.« 
[ (Va(Bu) — Dau: FÈ (À, — Bo) = op(1). 


(5. 5. 21) XW F (B, — Bo) 与 P73s, 有 相同 的 极限 , 所 以 ,由 (5. 5. 20) 
An, (5.5.2) 成 立 . 这 就 证 明了 B 的 渐 近 正 态 性 . 
定理 5.5.2 的 证 了 明 4 Qo 是 X, x Xo x... 的 零 概率 子 事件 . 取 
(X1,X2,… ) 不 属于 Qo. 为 了 证 明定 理 5.5.2, 需要 证 明文 献 [26] 的 条 
件 (D), (fu (S?) 被 满足 . 
H F,(8) = Fz(B) + nh,,(0) 以 及 引 理 5.5.1 和 引 理 5. 5. 5 的 条 件 
Gi) 知 ,存在 常数 dy do, 0 < di < d> < oo, 使 得 对 一 切 B € V (eo), 
dnl < F,(B) < d>nI. (5. 5. 22) 
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由 (5. 5. 22)， 有 条 件 (D) : Main (Fh) > oc. 
进而 , 对 任意 给 定 的 = > 0 和 so > 0, 对 一 切 B € V(co), 4 n FA 
Ket, A FG) - Fr| < ne. 
Hi (5.5. 22)， 对 一 切 B € V (eo), 有 
(1—qedí!)F, < 及 (8)<(1+dedTDR， (5. 5. 23) 


即 

|Vn(B) —I| < edz}. (5. 5. 24) 
根据 刚才 证 明 的 条 件 (D)， 当 n 充分 大 时 , 我 们 有 Nu(5) C V(eo). 由 
(5. 5. 23) 得 到 条 件 (N), BI 


sup |V. (8) - I| 30. 
Be Nn(5) 


最 后 , 由 (5. 5.23), FE = so Ml c > 0, 存在 m, 当 n > ni Bf, 使 得 
inf {Amin(Fu(B)) : B € V(n)} > c(Amax(Fn)), 
这 就 是 文献 [26] 的 条 件 (52). 从 而 定理 5. 5. 2 得 证 . 口 
定理 5.5.3. 假设 对 于 任意 已 XX; 的 支撑 是 及 9xr 的 紧 子 集 . 对 任何 一 个 
单位 向 量 X, 则 当 ATX, 2 0 时 ， 有 (5. 5. 3) 和 (5. 5. 4) K s. 
3138 5.5.8 假设 X=O,b(1)， 且 对 任意 的 单位 向 量 XX, HA 
ATX, BO. 那么 有 


T 
Ama ( XA ) — oo, a.a. 


证 因为 AX 2 0, 则 存在 co > 0 和 自然 数 的 无 穷 子 集 N (eo), 
使 得 


P(lATX,||» £0} > so， me N(e0). (5. 5. 25) 
MAA X, = Op(1)， 则 存在 My 使 得 
P(IX,| > Mx) < 2. n> 1 (5.5.26) 
因而 在 单位 球 上 存在 和 的 邻 域 W， 使 得 当 |X,| < M, 时 ,有 
ATX, > so， VÀ eW. (5. 5. 27) 
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由 (5. 5. 25) — (5.5. 27)， 有 
T 
P4 inf |A X,,| > soy > £o. € N(eo). 
a Sle eda 


¥ Ay = cs inf [A Xn] > co}. W Ar. Ad. ALAR, HL 
AEV 


Èran) > z4 = oo. 


Hi Borel-Cantell -— 我 们 有 了 An, Lo.) = 1. 故 存在 一 个 集合 


Dy CH KK Xe tni di )e Q4) = 1. 从 而 有 


—^ YT 
JA 2x À — oo. 


= (A: |A] = 1). 根据 Heine-Cantell 引 理 , 存在 A1, 2o. --- 


使 得 V = LJ N. 对 不 属于 2, = | 0; f Ge Xos 有 


ja j=1 


N T T 
jt A xxi À > oco. 


这 证 明了 an( X. xt) — oc, as. 本 引 理 证 毕 . 
ici 


m 


定理 5.5.3 的 证 明 给 定 不 属于 CA = [ 2; f X Xo. 


j=l 


们 有 


hui UX xz) 一 oo (n — oc), a.s. 
ici 


n 


此 式 以 及 {X;, i > 1) 的 有 界 性 , 蕴涵 着 文献 [26] 的 条 件 (D), (N), ($2). 


从 而 有 (5. 5. 3) 和 (5. 5. 4) 成 立 . 本 定理 得 证 . 


注释 定理 5.5.3 的 条 件 是 从 抽样 的 角度 给 出 的 . 在 实际 抽样 中 ， 
X; 的 范围 一 般 来 说 都 是 有 界 的 ， 这 是 很 合理 的 假定 . 定理 5. 5. 2 的 条 件 
是 从 概率 的 角度 给 出 的 , 统计 的 直观 意义 不 太 明确 ， 主 要 是 数学 上 的 要 


求 . 
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第 6 章 
非 自然 联系 情形 下 广义 线性 模型 
的 拟 极 大 似 然 估计 


在 第 2 章 中 , 我 们 已 经 知道 广义 线性 模型 的 历史 背景 以 及 广泛 的 用 
途 . 广义 线性 模型 的 未 知 参数 向 量 B 的 极 大 似 然 估计 (MLE) B, 在 1985 
年 由 Fahrmeir 和 Kaufmannl26] 给 出 ,其 强 相合 性 以 及 渐 近 正 态 性 也 为 他 
们 所 证 明 . 同时 , 研究 者 也 致力 于 拓展 广义 线性 模型 的 应 用 范围 , 起初 
只 局 限于 响应 变量 服从 指数 型 分 布 族 的 情形 . 1974 4E, Wedderburn!”®) 提 
出 拟 似 然 函 数 的 概念 ,在 建 模 时 可 以 只 要 求 关 于 响应 变量 的 数学 期 望 函 
数 和 协 方差 函数 的 正确 设 定 ， 而 不 必要 求 响应 变量 的 分 布 为 指数 分 布 类 
型 . 后 续 的 研究 表明 , 在 方差 函数 不 确 知 ,但 对 期 望 有 正确 设 定 的 情况 
下 , 这 种 方法 仍 可 适用 . 这 种 方法 称 为 拟 似 然 法 . 由 其 所 得 的 估计 则 称 
为 拟 似 然 估 计 . EBERT TC], 赵 林 城 和 尹 长 明 [83 分 别 于 2004 年 与 
2005 年 在 一 定 的 条 件 下 , 给 出 了 广义 线性 模型 的 未 知 参数 向 量 B 的 拟 
极 大 似 然 估计 (QMLE) B,, 及 其 强 相合 性 与 渐 近 正 态 性 . PR LAIR AG TR 
于 2005 年 给 出 了 广义 线性 模型 参数 的 自 适应 拟 似 然 估 计 . 我 们 在 岳 丽 与 
陈 希 陆 得 到 的 结果 的 基础 上 , 保持 他 们 的 条 件 不 变 , 稍微 增加 了 一 点 条 
t, 得 到 了 (QMLE) ,的 重 对 数 律 以 及 Chung 型 的 重 对 数 律 E3 这 个 结 
果 是 对 岳 丽 和 陈 希 也 的 结果 的 进一步 精细 化 . 


6.1 拟 似 然 函数 


假设 响应 变量 是 y;, 回归 变量 是 X;, i > 1, 这 里 Wi € R“ 相互 独立 ， 
100 


第 6 章 非 自然 联系 情形 下 广义 线性 模型 的 拟 极 大 似 然 估计 


X; € Myxer (Mas k 为 所 有 q x k EERE), 而 且 y; 满足 下 面 的 要 求 : 
Egy; = ui = h(Z(X;)T0). i=1.2,---.n, 
RE, Z(): Mya e Moa, AR ZX)" 表示 Z(X,) Ide 
h(): RE — 了 是 一 个 充分 光滑 的 函数 ， 而 且 是 单 射 的 ，B < R 是 q HE 
未 知 参数 . 令 g =h (h 的 道 映射 ) 它 被 称 为 联系 函数 ， 也 就 是 
glui) = Z(Xi)™B. 

又 令 Bo = (Bro. B20.… . 40) " ER B 的 真 值 . 为 了 记号 的 简便 , 在 本 章 
中 , 记 Zi = 2(Xi). WR y; 的 分 布 属于 指数 族 : 

Cly) exp (07y — b(0;))n(dy). i — 1,2, ,n, (6. 1. 1) 
则 能 够 得 到 下 面 的 对 数 似 然 方 程 : 


5,(B) =Y ZiHB)9; (B)(y;—(Z78)) =0, — (6.1.2) 
i=l 


KH, 9,8) = Cova(yi), HB) = (In (ZTB), ha(ZTB), -> hk (Z10)), 
h() = (C) ha(), Pa)", B. 
i 27) = Ps 
(6. 1. D 的 解 称 为 Bo 的 极 大 似 然 估计 . 
通常 情形 下 ,我 们 不 知道 y, 的 分 布 的 类 型 . 在 此 情形 下 ， 因 为 方程 
(6. 1. 2) 仅仅 包含 第 一 阶 矩 和 第 二 阶 矩 ,我 们 能 够 用 yi HREN 


二 阶 矩 构造 方程 (6. 1. 2)， 从 而 像 文献 [75] 中 那样 ， 用 指定 的 正定 矩阵 
A(B) 代替 97 (8) 得 到 方程 


Ln(B)= 3 ZiH(8)4(8B)(y; —^(Z78)) =0, — (6.1.3 


i=l 


再 用 方程 (6. 1. 3) 的 解 去 估计 参数 Bo . 通常 , 方程 (6. 1. 3) 称 为 拟 似 然 
方程 ， 其 解 称 为 拟 极 大 似 然 估 计量 (QMLE). 岳 丽 和 陈 希 了 SS) 曾经 研究 
了 拟 极 大 似 然 估计 的 强 相 合 性 和 收敛 速度 . 赵 林 城 和 和 尹 长 明 921 在 更 弱 
的 条 件 下 借助 一 个 引 理 , 得 到 了 拟 极 大 似 然 估 计 的 强 相合 性 , 但 对 收敛 
速度 没有 考虑 . 在 本 章 中 , 我 们 将 在 一 些 正规 假设 下 证 明 拟 极 大 似 然 估 
计 满 足 相合 性 、 渐 近 正 态 性 , 然后 在 协 方差 函数 的 正确 指定 下 , 得 到 极 
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大 似 然 估计 的 重 对 数 律 和 Chung 重 对 数 律 . 
6.2 拟 极 大 似 然 估计 的 相合 性 与 渐 近 正 态 性 


本 节 针 对 拟 似 然 方程 (6. 1. 3) 来 考虑 拟 极 大 似 然 估计 的 相合 性 与 渐 
近 正 态 性 . 

6.2.1 拟 极 大 似 然 估计 的 相合 性 

在 列 出 假定 之 前 , 先 给 出 一 些 记号 . C 表示 正常 数 , 而 且 当 它 出 现 
在 不 同 的 地 方 时 取 不 同 的 值 . 例如 在 C'sinCz 中 , 两 个 C 之 值 可 以 不 同 . 
Gb 表示 连接 端点 a 与 的 线段 

我 们 给 出 下 面 的 假设 : 

CD (Ze i2 1) 有 界 ， 对 充分 大 的 n 及 某 个 5e (3,1], 有 
An > Cn, 其 中 An 为 D2;27 的 最 小 特征 根 . 

i=1 


(c2) Cov(yi) > cI, i>1; sup Elly; |P < oo, 这 里 五 = 


ali 


(c3) h BM SEE E ELE, 满足 det (HP) o, 
(eA) AB) > 0, H. 4;(B) 的 每 一 个 元 素 有 二 阶 连 续 偏 导数 ，4i(B) 
及 其 一 、 二 阶 偏 导数 在 RI 的 任何 有 界 子 集中 有 界 . 
定理 6.2.1 在 (c.1)~(c.4) 的 条 件 下 , 存在 Bo 的 一 个 估计 n 使 得 
P(L,(B,) = 0, 对 充分 大 的 n} = 1, (6.2.1) 
B, — Bo = O(n-6-1/2)(loglogn)12), as. (6.2.2) 
特别 地 ， 取 5 = 1, (6.2.2) 3179 


B, - Bo = o( 9828"). a.s. (6.2.3) 


证 取 一 个 常数 序列 {an}, 它 满足 0 < as Too, an = o(logn), 
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(log log n)!/? = o(a,,). & cn = n 6-1/2)a,,, n > 1. id 
Sn = (8: IIB— Boll < en}, 
Sh = (8: IIB — Boll < cn} 
S, = (B: IB — Boll = cn} 
Bi(B) = ZiH.(B)A((B), eic yi —h(ZTBo), i21. 
由 (c.2) 知 , Ee, = 0, R. sup up Elles? < oo. BK B € S,, 有 
Ln(B) — Ln(Bo) = Y: 40 (h(Z78) — (Z7 9) 
i=l 


+ Èo (Bo) — Bi(B))e: 


= Jm(B) + Jn2(B), (6. 2. 4) 
h(Z1B) — h(Z? Bo) = B,Z (8 — Bo), 


此 处 , Ħ; = (258 > Bui € B. Bo. 由 条 件 (c1) 和 (c.3) 


An ME RES, 有 
Oh; (ZI Bri) _ Ohj(ZTB) 
Ot; mE 


aia 


+ ui(B), (6. 2. 5) 


其 中 uj;(B) 满足 
sup(uji(B): I>1. ji=1,2,.…,k, BE Sn} = O(cn). (6.2.6) 
HH (c.3) Al, 对 任何 大 维 向量 a, WR BES, 有 
IHF (8)al| > cllall. 
由 上 式 及 (c.4) 知 ， 对 任何 大 维 向 量 a, UR B e Sn 有 
a  H(8)41(8)H7 (8)a > cllal?. j = 1.2. 
也 就 是 
H,(B)A}(B)H7(B)>cI, BES, id>1. (6.2.7) 
Hi (6. 2. 7) & (c.1) Al, 对 任何 B € S, 以 及 充分 大 的 n, 有 
Y zn Mi(B) HT (pz? > yzzr cn. (6.2.8) 
i=l i=1 
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以 Ui(B) 记 一 大 阶 方 阵 ， 其 (j.1) TA u; (B), H (6.2. 4) & (6. 2. 5) 
有 


Ju(B) = 》 B(8)H7(8)Z7 (8 — Bo) + B4B)U7 (8)Z7 (B — Bo) 
i=1 i=1 


= Jau (B) + Jni2(B)- (6. 2. 9) 
IH (6. 2. 6) & (6. 2. 8) f$ 
inf (]J51(8)]|: B € Sn} > Cr? = cnl/2on， (6. 2. 10) 
inf {|| Jni2(B)||: 8€ Sn} < Cn? = cn?=a}. (6.2.11) 
由 于 5> + 2-26 < > WB ay = o(logn), itl (6. 2. 10) Æ (6. 2. 11) 
有 
sup {{|Jn12(B)|| : 8 € Sn} = O(inf(||J, (PN: B € S,,)). 
(6.2.12) 
Wre (7.3). ^ e, - ei (lleil| < i), i» 1. Br «p, M 


> P(e; #e;} = Yel >i} < ap E(lle;||P) > iP” < oo. 


i=l 
Hi Borel-Cantelli 341, P(&, =en, n 充 分 大 } = 1. 因此 , 要 估 
计 Jn2(B), 只 需 估计 


Tn2(B) = 》 (Bi(B) - B,(Bo))ë;. (6. 2. 13) 


XE [[E(e;)]| = IIE(g, 一 ei) < K -i- 9071/7, 3P K = sup E(|lle;||P), 有 
i21 


|E ee- B,89)&&)] < C $ K iPd < <, 
i=l i=l 
因此 为 估计 了 az(B)， 只 需 估计 


Jn2(B) = 》 (Bi(B) - Bi(Bo))é:, (6.2. 14) 
气 
XE e, = e; — E(e;). 
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An, E(ë,) = 0, sup E(|le;||?) < oc, sup lleill < an" a.s. 
i>1 这 1 


Ma>1-6, ERM S, ER M = [nP] NA Bi Bos Bar 
使 得 对 任何 B e Sn 可 以 找到 j 使 得 
IB — B;|| < Cn-6712*9,,. 
对 固定 j, 考虑 


2(Bj) = X (Bi(Bj) - Bi(Bo))@ = X ei (6.2.15) 
i=l 


i=l 
38 Jalb) 0381 4368238 Pai) = Y, LHD ke 
i=l 
对 任 给 so > 0, 


1 
P(JL,(B;) > sonan} = p{|: Zel > eon! 2a, } (6.2. 16) 


fE Bernstein 不 等 式 中 取 
b = Cn-0G6-1/3)+1ron。 到 < Cn-(25-0a2， 
s-con an, be — en7)* Vra. ng? = ca. 


易 知 ,对 某 个 a > 0, c > 0, 有 


2 
nz" 


2 cn*, 


22 


be + 62 
H ac 5 j= 1.2... M 及 1 无 关 . 因此 ,对 (6.2.16) 右 边 用 引 理 
1.3.44 


"Ü 1/2, 1/2 (q-1)a _ 
pí ET Jno(Bj) > keon an} <n exp{—cn"}. 


(6. 2. 17) 
由 co 的 任意 性 及 Borel-Cantelli 引 理 知 ， 


max, |3(6;)|| = ona). as. 
对 任何 Be Sn, dE B e {Bi1.B2.… Bar} 使 得 
l8 -Žil = imin l8 Bill < Cn 61+ an. 
从 而 有 
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sup Ii2(B) < max, |3,(8;)| + > 7 1848) — B.) 
BeS, i=l 


SM 
= Ki + Ko. (6.2.18) 

由 

sup (12,8) — B(B)||, 1<i <n, n21} 

BES, 

< c sup {IIB — Bll} = O(n- 71/259, ), 
BeS, 

有 


a 
Ka = O(n“ 6-12*9)a,) 》 lel 
i=l 


再 由 上 式 , 根据 引 理 1. 3. 4 知 ,对 任意 的 so > 0, a > 1— ó, 14 n AK 
时 ,有 
P(K» > son (6-3/2+6)) < exp{ 一 cn"}， 对 某 个 a > 0，(6.2.19) 
结合 (6.2. 8) ~ (6.2. 10), (6.2.17) — (6.2. 19) 知 ， 当 存在 a > 0, B.n 
充分 大 时 ， 有 
PÍ inf {[|Ln(B) - La(Bo)ll : B € Sn} > ento, > 1— expen]. 
(6. 2. 20) 
现 考虑 Ly (Bo). VA LT id Z, 的 第 一 行 , 以 加 记 Ly (Bo) 的 第 一 个 元 
素 , 有 


DE 2 A BA Boe => G 
i= i=l 


GG EARE. 记 By = Y Var(G). H (c3), 有 


i=1 


B, = S017 Hi(Bo) Ai(Bo)Cov(ei) Ai(Bo) Hi (Bo); 


i=l 


>C IF H; (Bo) A1 (Bo) Hi(Bo) TL. 


i=1 
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再 由 (6. 2. 7) 知 ， 


By > CY Ul = CY (Z; ZT C, 1)56)> en? — co. (6.2.21) 
i=1 i=l 


Hi (6.2.21) X [Bug — Bal = OQ) St, FR" 5 1. 从 而 知 (G) 满足 引 


38 1.3. 10 的 条 件 (i) 和 (ii). 下 面 验证 也 满足 条 件 (iii). 
由 (c.1) ~ (c.4), 有 


Bn > Cn. (6.2.22) 
W2«p«3, 在 引 理 1.3.3 中 取 = 2 p — 2, WJ 


D, = 》 El < Cn. 
$=1 
由 此 及 (6. 2. 22) 得 Ry < Cn-n7!-</? = cen, gn 
Rn = O((log B,,) 2). 


这 就 是 引 理 1. 3. 10 的 条 件 Cii i). 
由 引 理 1. 3. 10 得 到 


SOB, = > P(||L,(Bo)|| > en! /2(loglogn)1/2) < o0. (6.2.23) 


n=1 n=1 


An = {fete B, € S9 E || Ln(Bo)|| = inf (||L,(0)| : B € Sut}. 
则 由 (6. 2. 20), (6. 2. 23) AR log logn = o(a,) 有 
P(An) > pí pe IIL,,(8) — Ln(Bo)|| > 2L, (B9) 


21-pn. (6. 2. 24) 


E 
其 中 p, = p, + exp(-Cn?], M» < oo. 


n=1 
至 此 , 得 到 了 局 部 极 值 点 B, 存在 性 的 证 明 . 下 面 证 明 这 个 局 部 极 
小 值 点 满足 
Ln(B,) = 0. as. 
H B, € So, 故 存在 m € (0,1), n > 1, 使 得 
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S P{en - llb, - Boll < r.) < >. 
n=l 


因此 以 概率 1 24 n 充分 大 时 有 cn — IB, — Boll > rn- 
取 de (0.1). E ||L.(8,)| = dn, B dn > d, 将 (6.1.3) 的 Bo 及 
B 分 别 换 为 B, + ó, É Bn 有 
LalÊn + ôn) — Ln(B,) 


= BABO(MZIB,) - n (ZT(,, +á,))) 
i=l 


*Y (BiB, 5) — 48.) (vi - AZT, + 6,))) 


i=l 
= Ku) Ka). (6. 2. 25) 
H (6. 2. 5) & (6. 2. 9) f$ 
Ka) = -G,#, + Y BB, )O(lló,1)Z75, 


n=l 
= K,u(:) Kaa(). (6. 2. 26) 
这 里 ， 
Gn = ZiH(B,) A (Ên) H7 (B,)ZT. 


i=l 
H (c.3), (c4), 以 及 B, e 59, 知 Gy! 存在 . 取 ôn = 6G, dar, 
[E (max(d,, 1]) ^! . H nda <1 及 (c1) A |é,| < en7?r,. BK 
Ên +ó, E Sh, H 
lC) = —t,d,,r,,. (6. 2. 27) 
根据 上 述 结论 , H (c1) ~ (c.4) 有 


loa CIL < nli] < Con-?*2d202 < indura. (6.2.28) 


: 2 
yi — (Z1 B, +6,,)) = (ZH (Bo) — &(ZT (B, + ôn)) + e; = mi ei 
Hi (c.3) 有 
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mill] < C(IlB, — Boll + 6nl) < n7 671a, + en tndarn. 


因此 n 
Woo < CD [Bin 5) = BB, bl 
HÈ (BiB, + 8n) — )m,| 
= Knn + K,22. (6. 2. 29) 


Hi (c.3) I (c.4) 知 
| BiB, + ôn) — Bi(B,)|] < Clbnll < en7*tadara. 
因此 
Kan < cn-(C25-3/2)antndnrn + cn-(2—Dt2d2r2. 
由 dn<1,5> 5 an = o(log n), 有 
1 
Kon € Findnrn. (6. 2. 30) 


现在 考虑 Kao. 选择 a HA 1-5 ca, 1—ó-c. ER V = 
ft: fit] € en7?r,) PAR N = [nze] 个 点 wi,w2,… ,wn， 使 得 对 任何 
wEV, TUREJ j 满足 lo —w;l| € cn-**?r,. BI |ó,|| € enra, 
ó, € V, WEE j 08 lón — w;|| < enc **? r,, AA 


Kyo < |Y (Bio + w) ~ 8:9) 
i=1 


+ |> BiBo +n) - Bil(Bo + 6.))e;| 


izl 


+ |> (BB, 8) — BilBo + ôn) — (Bi(B,) — B,(B0)))e,| 


i=l 
< max, | S° (Bi(Bo + wi) 一 B;(Bo))e:|| 
wo das 


+ [32:4 + ôn) - Bi(Bo + ôn))e; | 
i=1 
+ [32 (BiB, 8) — Bi(Bo + ôn) — (Bi(B,) — Bi(Bo)))e| 


i=1 
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=Ji+ 2+ Js. (6. 2. 31) 
对 某 函 数 gi(-), 记 
M = gi(B, + 8n) — 9:(Bo + ôn) — (ai(B,.) — gi(Bo)). 
根据 B, € S9, ||6,,|| < en7?t, dr, EL (c.3) 和 (c.4)， 由 中 值 定理 有 
[M| = [6 GB, +t) 7080 0)|, , (6 69:8.) 
ESI pax 19.0] - Ên — Bol 


< ct, d, ru n7 057128, 


[4 
n 
Js € ct, d, ryn7 05719290, X " lleill 
i=1 
S ct, d,run7 0571/26, S Elleill 
t=1 
+cet,d,,r nl Da, p» (lleill — Elleill) 
i=1 
= J31 + J32. (6. 2. 32) 
P3 
Hi sup Elle;|| < oo, ó > =, an = o(logn), 有 
i»l 4 
Jn < idari n -3 logn < tidia (6.2.33) 
由 引 理 1.3. 5 知 


n 


P[X en - Ee) > en} set, p>2. 


i=l 


故 
{ Jn > ater] <cn 2 p»2. 
由 上 式 及 (6. 2. 33) 有 
zE < Sindara} > 1- en., (6. 2. 34) 
根据 (c.3), (c.4)， 用 中 值 定理 有 
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J € ello, — will Y. leill € cn *9r, >》 lleill. 
i=l isl 


因为 a+ó>1, 类 似 于 前 面 处 理 Y lel 的 方法 ， 可 知 ， 对 
isl 
go =a+ó ó- 1 > 0, 存在 a > 0, 使 得 
P{J2 € cn sorn} > 1 — exp(—cn"°). 


HT d, > d, YA tud, = do > 0, 故 有 
?位 < ater] 21-exp(-en^?). (6. 2. 35) 


现在 考虑 JN. 固定 j, 记 


Àj = Y (BiBo + u;) — B(Bo))&; 


i=1 


e, 的 含义 同 (6. 2. 14) 下 的 定义 . 完全 类 似 于 前 面 对 .2(B) 的 处 理 ， 易 知 ， 
对 任 给 的 so > 0, 有 

P(IJyll > corn} < 2esp{ > =). 
其 中 b= en-$+/rr,, 52 = cn-3r2, e= eon rn, be = en-(6+1)+1/ry2, 


A, 对 某 个 a > 0, 有 且 c,a 与 j= 1,2,… ,N EX. 因此 


2 
ne^ 


PU > corn} = PÍ max lll 2 corn} < nr exp(-en77). 
由 上 式 并 注意 到 td， = dy > 0, 有 
efn < gts) > 1—exp{—en-*}, HÆ a > 0. (6. 2. 36) 
结合 (6. 2. 34) ~ (6. 2. 36), 有 
P{ Kuen < gets] > 1—exp{—cn-*} — en-P/2, (6.2. 37) 
结合 (6. 2. 25) ~ (6. 2. 30), (6.2.37), 有 
ef [La (I > à. B, € $2. |z, Ó, 5] > (1 = gardara) aBn} 


< exp[-cn7?) + en?/?, 
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另 一 方面 , tH (6. 2. 24) UR B, + ó, € SO, 有 
P [Itb > d By e st. 1s hol < (t dar) Isl) 
< pa. 
其 中 p, A (6. 2.24). 由 上 述 两 个 不 等 式 立 得 
P{ 人 vB >d, Ê, € ay < pn + exp{—cn-°} + en-P/?, 
Tü P{B, € S) > 1— p,, 因此 
P{||La(Ên)]| 2 d) < 2p + exp(-en7?) + en, 
由 于 


~ 
3; (2p, + exp{—en=°} + en7?/?) < œ, 


n= 


tli Borel-Cantelli 引 理 知 , 对 任何 4 > 0, 47 P{||L,,(B,,)|] > d. io.) = 0, 
即 
P{||L.(B,,)|| > 0. io.) = 0. (6.2.38) 
等 价 于 
P{||Ln(B,,)|| = 0. io.) = 0. (6.2. 39) 
th Ên, e S° 得 
Ên — Bo = O(n-6-1/2)a, ), a.s. 


上 式 对 所 有 满足 Fens 一 oo 及 ex — 0 的 a, 均 成 立 . 由 引 理 


1.3.9 知 
Ên — Bo = O(n- 61/9 Vlog logn). a.s. (6. 2. 40) 
结合 (6. 2. 39) 和 (6. 2. 40) ,就 完成 了 定理 6. 2. 1 的 证 明 . 


6.2.2 拟 极 大 似 然 估计 的 渐 近 正 态 性 
给 出 下 面 的 假设 : 
(D) {Zi. i 1) 有 界 ， 对 充分 大 的 n BHA e (La), 有 


5 
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Ay > Cu, 其 中 As 和 X, 的 分 布 分 别 为 7 ZT 的 最 小 特征 根 和 最 大 


i=1 


特征 根 
(5.2) FE c > 0 使 得 Cov(y;) > cI. i > 1; supEl||yi|? < 00, 这 里 
这 1 
xcd 
p= 


(63) 六 的 二 阶 偏 时 数 存在 且 连 续 ,满足 det (=r) #0. 


(G4) Ai(B) > 0, Ai(B) 的 每 一 个 元 素 有 二 阶 连续 偏 导 数 ，4i(B) 及 
其 一 、 二 阶 偏 导数 在 RO 的 任何 有 界 子 集中 有 界 . 
注 条 件 (c1) 比 条 件 (c.1) 要 强 , 条 件 (5.2) 比 条 件 (c.2) 要 强 , 而 
其 他 两 个 条 件 没有 改变 . 
定理 6. 2.2 在 条 件 (5.1)~(c.4) F, 有 
B; "Q,(B, — Bo) 5 N(0. 14), (6.2.41) 
HP By, = Y: ZH, AE, AHEZE, Qn = YZ nA tz, Hi- 
i=l i=l 
H(Z? fo). Ai = Ai(Bo), E; = Cov(y;). 
证 取 单 位 向 量 和 , 记 
En = AT Bi? Ln (Bo) =J Enis Eni = ATB; "ZiH;Aee;, 
i=1 
SEH e; = yi —h(ZTBo). HW E(Ei) 20, 1 < i < n, UR 
Var(En) = > Var(Eni) 
i=1 


= X7B;12Y AZ HE AHT ZT B7?) 


i=l 
=AT)\=1. 
要 证 明定 理 6. 2. 2, 等 价 于 证 明 
& 4 N(0,1). (6. 2. 42) 
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要 证 明 (6. 2. 42)， 只 需 验证 : n — oo 时 , 对 任意 给 定 的 = > 0, 有 
one) = SE [Gill (li > £)) > 0. 


i=l 
^ 
ej = D7 Pei, aT. = ATB ZH AE, 1<i<n. 


GR Eni = apiet. W n, = iet JU [Snil < llanilllle?l 立即 可 知 ， 


|énil 
lle; ll 2 lanl 


H (Z,. i> 1) 有 界 知 , (ZT o. i > 1) 有 界 . di (c4) All, FE c> 0, 使 
得 对 一 切 i> 1, 有 A, > el. 

fiii (Z7Bo, i > 1) 有 界 及 (53) 知 ,存在 c > 0, 使 得 对 一 切 i > 1, 
有 de(H;) > c. 从 而 存在 c > 0, 使 得 对 一 切 i> 1, 有 H.A EZ AHT > 
cI. 立即 得 到 


= nail. (6. 2. 43) 


XH (c.1) Xl, A,(B,) > cnò, ATIA A, (Bn) > oo. WH (c.1),(c.2) 及 
(c.4) 知 ， 


lim max |la,,,|| = 0, 
一 2o 1<:i<n 


且 


Loan = XT ee Z .H EAH? Z! B, 2A 
i=l 


=AT)=1. (6. 2. 44) 
注意 到 


oe = Y les (IB (lal > =a). 


Hi (c.2), Ma=p-2=3, 有 


gale) < Y 7 llasill*llasilI*e7^ E (bI). 
i=1 
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再 由 (6. 2. 43) 和 (6. 2. 44) 得 
gn(e) € max lla, | £7 sun Eleil?—0. Ve>0. 
这 就 证 明了 (6. 2. 42). 由 于 (6. 2. 42) 对 任意 的 单位 向 量 都 成 立 ， 就 有 
B3"? L, (Bo) $ N(0,1). (6. 2. 45) 
i Hy; H(ZTB,) Au = A(B,) 1 < í < n. E L(B,) = 0, 所 以 有 
Ln (Bo) = La (Bo) — Ln (Ên) 
= Y ZUM; - H niAni)ei 


i=1 


EY LBaAS(ZIÀ,) — W(ZTBo)) 
i=l 


-Y AA Huhu 


i=1 


$Y ZH A.R, ZB, - Bo) 
i=l 


= Z, (H.A; - HiAni)e; 
i=1 


+ Y ZLASH,; - HiAiHT)ZT (Ê, - Bo) 


i=1 
+ YZHAHIZÓ, — Bo) 
i=l 
= Jin(+) + Jəx(:) + Jan, (°), (6. 2. 46) 
其 中 
下 = ((ZTBa) (o (Z18,3).- (ZEB) 1<i<n, 
Bni Bno ,Bw 都 在 Bo 与 B, EBLE. 而 Jan) = Qn(By — Bo). 
只 需 证 明 
B. /Jn() = 0,(1), 1212. (6. 2. 47) 
35 (6.2. 47) 得 证 ， 则 由 (6. 2. 45) ~ (6. 2. 47) 即 得 (6.2.41). 由 (c.3) 和 
(c.4), 有 
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|H s; As Ho, —H;A,H?| =0,(8,, — Bo), 一 致 地 对 1 < i<n. 
由 上 一 段 中 记 , — Bo = 0, (n-0-1/2), 有 
Jon (-) = nO,,(IlB,, — Boll?) = O, (n2-?5). (6. 2. 48) 
Hi B, > cS, K (C1), H B; "| = 0O,(n-5/?). 又 由 (6.2.48) 有 
B, Jan(-) = Op (lB — Boll”) = O,,(n2-34/2). 
再 由 5 > Wg 
Br! Jon(+) = O,(1). (6.2. 49) 
现在 考虑 Ju). W re (i 7) 充分 接近 p-1. + 
&i = eil (lleill € i/r), i > 1. 立即 有 
re #ei}= DP le | > 27) < supE(lelP) Er «o. 


Hi Borel-Cantelli 引 理 知 ， 以 概率 1, 34 n 充分 大 时 , Ae, =en 因此 
只 需 考虑 


TinlB,) = 3 z, (H.A, — H,(B,)A,(B,.))ë;. (6. 2. 50) 
EA ||E(e;)|| = ||E(e; 一 els iG-0^K, B K = sƏupElle, |P, 所 以 有 
P (H.A, — Hi(B,)Ai(B,))E ED A "T 
ide = ë, — Ez;, WE(E,) = 0, supElléill? < oo, sup [&| < 2n/", 以 及 
这 1 1<i<n 
Jin(B,) = YA — Hi(B,) AiB,))&. (6.2.51) 


Ha a HERR S = {2 : ||B — Pol] < cn- 67/2) 内 选 定 M = [noq] 个 
点 , 使 对 任何 B e sS, 可 以 找到 j, 使 得 


IBj-B| se^. b-s- iua. 
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Ju (8;) = XZ, (H.A, - H(85)4,) Yes (6.2.52) 


ici 
考虑 (6. 2. 52) 的 第 1 个 元 素 , 记 为 JL, = Yoel. 
下 面 验证 Bernstein 不 等 式 . 
P(|J1,;| > con®} = {|= Eel > con't}, (6. 2. 53) 
ic 


将 (6. 2. 53) X} Bernstein 不 等 式 , 知 


b= cn-(6-1/2)+1r， g? < cn-(25-0)， e= eons/2-l, 


be = cn- 6/2-1/2)Vr, 
这 里 c > 0, 在 每 个 式 中 的 取 值 不 一 样 . 
由 7 的 取 法 , 有 
ii-(- (2-3) +2) >0. 
而 6 一 1 一 (一 (26 一 1)) = 36 — 2 > 0, #E Bernstein 不 等 式 中 有 
Bei ee > en 
2(be +57) =’ 
此 处 c> 0, a > 0 且 与 了 = 1,2,…… ,AM 和 1= 1,2,… KEK, 进而 有 
pí B 1355 (6) 2 di < n™ exp[—cn?). (6.2.54) 


而 Z n” exp(—cn?) < oo, WH Borel-Cantelli 引 理 知 ， 


n=1 
nay, |o (B) = on”), as. (6.2.55) 
TER B e S, # j IEB- B;l| < cn. ia B = Bj, Wl 


12.0.) < max, lin) 


+ 和 lz I sup ll 0448) 一 H4B)A.(B)Illle;l 


i=l 
= Ki + Ko. (6. 2. 56) 
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由 (6.2. 55) 知 K, = o(n?/?), a.s. 而 
Kı < IY lel] < a t-bt1/r, 
i=1 
由 a 的 取 法 知 , 1— b + < 5, # Ko = o, (72). 进而 知 
Jin(B,) = p(n). 
从 而 有 Ji. C) = op(ns/2)， 即 有 
By? p (.) = oy (n5/2). (6.2.57) 
结合 (6. 2. 49) 和 (6. 2. 57) , 得 到 (6. 2. 47). 从 而 完成 了 本 定理 的 证 明 . 


6.3” 拟 极 大 似 然 估计 的 重 对 数 律 


上 一 节 在 协 方差 阵 任意 指定 下 得 到 了 拟 极 大 似 然 估计 的 速度 为 

O(n 6712 Vioglogn), a.s, 
但 没有 具体 给 出 界限 .本 节 将 在 协 方差 阵 正确 指定 下 , 来 讨论 拟 极 大 似 
然 估计 的 重 对 数 律 ， 并 将 上 一 节 的 条 件 根据 实际 问题 进行 调整 ， 便 于 实 
际 问题 的 验证 . 一 般 来 说 , 尽管 响应 变量 的 协 方差 是 未 知 的 , 我 们 可 以 
用 样本 协 方差 对 之 进行 估计 , 而 且 当 样本 量 足 够 大 时 , 样本 协 方差 几乎 
真实 地 将 总 体 协 方差 估计 出 来 了 . 本 节 就 是 立足 于 这 个 思想 , 更 加 精确 
地 给 出 拟 极 大 似 然 估 计 的 重 对 数 律 ， 重 对 数 律 的 统计 意义 已 经 在 1.2 节 
给 出 . 


4 A (B) = Y ZiH(B)5; (8) HT (8)Z7, WB An = An (Bo). 
i=1 


我 们 给 出 下 面 的 假设 : 
(L.1) {Z i> 1) 有 界 ; 


5 y 7 
(L.2) 0 < A) < Cov(yi) < A2, i > 1; supEl|y;||? < oo, 这 里 五 = 3: 
这 1 
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(L. 3) h 的 二 阶 偏 导数 存在 且 连 续 , 满足 det (20) +0: 


(L.4) 2; B) 的 每 一 个 元 素 都 有 有 限 的 二 阶 连续 偏 导数 ; 
(L.5) lim nA;! = W(Bp) > 0. 
附注 6.3.1 (L.1), (L.3) 和 (L. 4) 出 现在 文献 [88] rh; (L.5) 在 文 
献 [1] 和 [50] 中 出 现 过 ; (L. 2) 是 类 似 于 上 一 节 的 条 件 (c. 2)， 也 可 以 说 
类 似 于 文献 [88] 的 条 件 2° ,那里 仅仅 0 < cl < Cov(y;) 被 需要 . 在 假 
设 (L.4) 中 的 57!1(B) 是 上 一 节 的 条 件 (c. 1) 的 一 个 特殊 情形 ， 可 以 说 是 
文献 [88] 的 条 件 1” 的 一 个 特殊 情形 . 
取 一 个 常数 序列 {an} 它 满足 
0«a,Too an=o(logn) (loglogn)!/? = o(an). 
Fon =n Van. 不 失 一 般 性 , 假设 cl > c2>…>c,n>1 记 
T, = (8: IIB — Boll < en}, 
= (8: I8 - Boll < c.) 
T, = (8: IIB — Boll = c. - 
根据 引 理 6.3. 1 (后 面 将 给 出 ), 可 以 看 到 假设 (L. 1) — (L. 5) 843836 
上 一 节 的 条 件 (c. 1) ~ (c. 4). 因此 , 根据 上 一 节 的 结果 ,可 以 知道 以 概 
率 1 对 每 一 个 n> 1 存在 B, e T) 使 得 对 充分 大 的 n, S,,(B,) = 0. B, 
称 为 拟 似 然 估计 . 
记 
Əh(t) 
ott” 
根据 假设 (L. 1) 和 如 下 事实 : ALPE B, € TÜ CT; (n > 1), 存在 一 
个 紧 集 卫 使 得 


A(t) = 


f(t.) = AT Ht) IT (t)4. 


(ZiB,: in > 1) c r. 
易 知 f(t.A) 是 紧 集 x K 上 的 连续 函数 , 此 处 开 = (X: JA] = 1). 根 
据 (L. 3)， 可 知道 A(t) A(t)? > 0. 从 而 
ATH(OHT(A»0, 对 所 有 入 e K, te r. 
因此 , 存在 to € T, Xo € KK 使 得 
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i Tñ T T 
m H(t) E (t)\ = Aj A (to) HT (to)Ao > 0. 


注意 到 Kn) = H(Z;B,), 可 以 看 到 几乎 处 处 
inf. Amin (K, (8,)7 (PB) > inf Amia (FE (€) ETT (0)) 
> ATH (to) HT (to)Ao > 0. 
此 , 我 们 已 经 证 明了 对 i.n > 1 几乎 处 处 有 
Ki(B,) KT (Bn) > Amin (Ki (Ên) KT (B,))1 


> AT Å (to) AT (to)AoI > 0. (6. 3. 1) 
类 似 地 ， 能 够 证 明 存 在 0 < c". c" < oc 使 得 
dI > Hi(Bo)HZ(Bo) > «I, i21. (6.3.2) 


4 e. = (0.… ,1,0.… .0)7, 这 里 第 ;个 位 置 上 的 元 素 是 1 而 其 他 
位 置 上 的 元 素 是 0. 


定理 6.3.1 在 条 件 (L.1), (L.2), (L.3), (L.4) 和 (L.5) F, 如果 B, = 
(Bin. Bon. Ên) 是 拟 极 大 似 然 估计 ， 那么 对 1 < s < q, 有 


Pim supV Sop tog Ô" — Bo) = ETW (Boye. =1 (6.3.3) 
和 

" n n ^ 
{tint Zioglogn ^" — Bso) = ~ ew Boje.) = 1. (6.3. 4) 


为 了 得 到 下 面 的 Chung- 重 对 数 律 ， 必 须 增加 另外 的 条 件 : 
(L.*) O < A3 < Z,ZT. i> 1, 以 及 
|nAz! — W(Bo)| = o((log log n)7). 
定理 6.3.2 &##(L.1), (L.2), (L.3), (L.4), (L.5) fe (L.*) F, 如果 
B, = (Bin: Basso Ban)? 是 拟 极 大 似 然 估计 ， 那 么 有 


à seh gn x 
liminfy max {i |B.; — Bal} = vi eTW(Bo)e,. P-a.s., 


1<s<'g. (6.3.5) 
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附注 6. 3. 2 ”如果 4 = 1, 可 以 从 定理 6. 3. 2 的 假设 中 去 掉 条 件 
|n A; — W(Bo)| = o((loglog n)" 1). 
换 旬 话说 , 当 g = 1 时 , 在 条 件 (L. D, (L. 2), (L.3), (L. 4), (L. 5) 和 “对 
所 有 的 i> 1, 0 < As < Zi2T” 下 ，(6. 3. 5) 同样 成 立 . 


引 理 6. 3. 1 在 假设 (L.1D) 一 (L.5) 下 ,存在 c > 0 使 得 对 所 有 n> 1， 


Awin( 2.2?) > en. (6.3.6) 
i=l] 
证 由 条 件 (L. 2) 知 
Xj (fo) € e. (6.3. 7) 


又 由 (6. 3. 2) &l, ETE 0 < c» < oo 使 得 Hi(Bo)HT(Bo) € ol. 因而 ， 
VÀ € R“ H | = 1, 我 们 有 
XTH,(Bo)K(Bo)À < c». 
所 以 有 
XTA,A = AT Y Z Hi (Bo) V; (Bo) HF (80)27À 


i-l 
< oT 》 ZiZTA. (6.3.8) 
i=l 
再 根据 条 件 (L. 5) Al, 存在 0 < c. c" < oo 使 得 
NAG < Max(nA;)I € (Amasx(W(6o))+c)T 
< W(Bo) + “I + (Amax(W (Bo) — W (Bo)) 
X W(Bo) - I. n21. 
因此 , 对 任意 n > 1 及 AER 有 
ATA,A > nAT(W (Bo) + I) "A. 
将 此 式 代入 (6. 3. 8) 中 , 得 到 


XF ZiZTA > n(eics) AT (W (Bo) + ^1) A 


i=1 
> n(eico) ! - Amin (W(Bo) + eZ). 
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至 此 , 命题 得 证 . 


命题 6.3.1 在 条 件 (L.1), (L.2), (L.3), (L.4) 和 (L.5) 下 , 有 
B, — By P-a.s. 


证 根据 引 理 6.3.1, 容易 看 到 , 当 万 = 了 时 , 条 件 (L. D, (L2), 
(L.3), (L. 4) 和 (L. 5) ZA RE 6.2. 1 的 条 件 , 所 以 由 定理 6. 2. 1 及 其 
证 明 ,可 以 知 此 命题 为 真 . 

为 了 记号 的 简化 , + 

Bi(B) = ZiHB)5; (8). 
wi(s) = eT W (Bo) Bi(Bo) (yi — h(ZT0o)). 


则 有 
w? (s) =e W (Bo) Bi(Bo) (yi — h(ZTBo)) (vi — h(Z7B))" 
+ B;(Bo)™ W (Bo) Tex. 


E( 2 u?(s)) = Sel W Bo) (ZiH.(8)) 57 (Bo) HT Bo) ZT) W (Bo)Te 
i=l 


is 
=e! W (Bo) An W (Bo) "e.. (6. 3. 9) 
BA S2(s) = sa (5). 则 有 
S52(s) = eW(80)A,W (Bo)e.. 
命题 6.3.2 在 条 件 (L.1), (L.2), (L.3), (L.4)4e(L.5) F, # 
Eut) 
limsup E = VEW Bole, 1<s<g, as, (6.3.10) 
以 及 
lim inf 7—— —— —VefW(Boe,. 1 <s<q. a.s. (6.3.11) 


n>% Z = log n 
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证 显然 E(wi(s)) = 0. 根据 (L. 5), 可 知道 
Ss) 
ü 


lim 
n> 


= lim eTW(B0) A W (po)e, 
= eTW(Bño)e. > 0. (6.3.12) 
vi>, 
E(lwi(s)|?) = E(Je W (Bo) Bi(Bo) (i — ^(ZTB9))") 
< (eT W (Bo)*e. P"? q"|B;(Bo)l" Ely: — h(ZT Bo) ||”. 
(6. 3. 13) 
根据 条 件 (L. D, (L.2), (C. 3), TAFE sup |Bi(Bo)] < oo, 以 及 
sup Elly: — h(Z7 Bo)ll? < oc. 
这 1 


因此 , 由 (6. 3. 13) 得 到 


sup E(|w;(s)|?) < oc. (6.3.14) 
这 1 
注意 到 
fam 28108 S2(s) _ y, loglogne! W(Bo)(4n/m)W (Bo)es 
nce loglogn  n>æ log log n 
. loglog ne! W (Bo)es 
= in 一 一 一 一 一 一 一 
n= log logn 
=1, 


HH (4. 3. 1) 得 到 


x wi(s) 
1=lim s= 
no0 25505) log log S2(s) 
> vis) 
v/nloglog n 
= lim sup. 


n= ATTA VS2(s) loglog S2(s) 


so 
1 
= lim sup— ———— 
n—o NT log n ` VeTW(Bye. 
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上 式 证 明了 (6.3.10). 用 同样 的 方法 , 运用 (4.3.2)， 能 够 证 明 
(6.3. 11). 


定理 6.3. 1 的 证 明 ”首先 观察 到 
T, (Bo) = T. (Bo) — Ta (Ên) 


=> BIB, (h(Z7B,) — Z7 80) + Y (Bi(Bo) - Bi(B,,))ei 


i=1 i=1 


=> Bi(B,) Hi(B,)"Z7 B, — Bo) 
i=l 


+ 3 B(B,)U48,) Z B, — Bo) + > (Bi(Bo) — Bi(B,))e: 
i=1 


i=l 


=> BiB.) Hi(B,)" 2 (Bn - Bo) + Gin (B,) + Go (B). 
i=l 


(6. 3. 15) 
2 Əh;(ZTBp, Əh;(ZT 
IERE U, (8) = (wf), i) = HEP) _ EA, 


元 素 满足 下 列 条 件 : 

sup {|ui(B)| 2 i21. jd = 1.2... k. B € Sn} = O(c,) 
Ohj(2ZIBi) _ Əh;(t) " "3 A 

2r uae = E d aos! 以 及 Bin € B.Bo, B.B. 是 具有 
端点 B 和 Bo 的 线段 ， 其 定义 如 文献 [88])，si = y; — h(ZT 8o). 根据 
(L. 1), (L. 2), (6. 3. 2), 命题 6. 3. 1 和 引 理 6. 3. 1， 可 以 发 现 以 概率 1 有 下 
式 成 立 : 


(此 处 


An(Bn) = 3 Zi Hi (Ên) 57 (Ên) HB.) ZT 
i=1 


> cnJ， 对 充分 大 的 n, (6. 3. 16) 
从 而 以 概率 1 有 
|4n(B,)| > en, 对 充分 大 的 n. 
对 B, € S, 注意 到 


len $= |E 8,048,720, -Bo)| 
i=1 
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<  Vkq|Bi(B,)U,(B,)7Z7| -Ên — Boll 


i=1 


< viai |zi|- |i] | £z | -10:,)71 - |Z7| - 16, — Boll 
i=l 


< viar (supl@l) -sup t o MÀ. ~ Ball 

< Cn eo, cn， (6. 3. 17) 
这 里 con = sup {|uiu(B)] : i21, 51 12... BE Sn}, RAF 
(6.3.7). (6.3. 17) 的 证 明 用 到 如 下 事实 : 对 正定 矩阵 A, 


max eT Ae, = max le Ae,| - 
s . 


根据 事实 
1/2 
£n «M n'!*Con < M< Ean < M, 
n/a, ün &4 一 
我 们 有 
lI: (8,)]] = O(a2), P-a.s. (6.3.18) 


4 a»0U M = [n]. 取 Bi Bo. Bi 使 得 对 任意 的 Be S9, 
IB- Bill < en“G*%a,,. 
用 类 似 于 文献 [88] 中 (2. 16) 的 证 明 , 我 们 得 到 
sup {||Gon(B)||: BE S.) = O(n7*a,). P-as. (6.3.19) 
Afi ||Gan(B,,)|| = O(n377a,). t (6.3. 15), 我 们 得 到 , Vn > 1, 有 
B, — Bo = A; ,)T.(80) — A; (Ên)Gin (Ên) — A; (Ên)G2n (B) 
W(Bo) - Talo) — (W (Bo) ^ nA!) E 
fud: qu A.) T.) 


= AC 0,)6,) - A;' (É TET 
= W (bo) ` Fas) LH Taf) Hy S 


—Mn — Mn, (6. 3. 20) 
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这 里 H, = W(fo) — nA;!, Hy, = nA; — nA; (Ên), mn = A7! (8,) 
Gin(Ên) 以 及 mn = A7 (Ên)Gon (Ên). 根据 条 件 (L.5)， 有 |H1,,| > 0. 
Meh (6. 3. 16), 可 得 到 
|n471(B,)| < c P-as, 对 充分 大 的 n. 
注意 到 事实 : WR A, 和 B, 是 可 逆 且 有 界 的 ， 那么 命题 
A; — B;! + O (n> oo) 等 价 于 命题 A, — B, — O (n > oo). 因此 ， 
要 证 明 Ho, +O, P-as., HEU 
n^ A,(B,) — n7 A, (Bo) > O. P-ass. 
4 n7 A () = (dnij(-)). 则 能 够 看 到 
sup( 4,450]: n21 1€ 234. BEN} SC <x, 
以 及 
|dnij(By,) — dnij(Bo)| = |dsij(&s) (By — Bo)| < Cen > 0, (6.3.21) 
这 里 En € Bon 从 而 这 个 断言 Ho, +O. P-a.s. 被 证 明 . 根据 命题 
6.3.2, 有 


TOR sesi: Tu) 
nip 2loglogn ELLE 
= lim sup eT Hy, W (Bo) - [/.— à — w (gs) 2280) 
næ 2log logn n 
Tiy Rr «lima n T» (Bo) 
< Jes ( lim Hin) W (Bo) re Nair E 
es (I lim n Hi,)W(80)' (Ve TW (Bo)er epe? 
= 0, P-a.s. 
Ea 


Hi =0, P-as. (6.3.22) 


A n 
lim ,/ ———— leT 
n2 V 2log log n 


类 似 地 ， 能 够 证 明 


n 
lim /二 一 一 一 一 
n>æ \ 2log logn 


Ta (Bo) 
n 


Ey: Tn(Bo) 
n 


=0, Peas. (6.3.23) 
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由 (6. 3. 16), (6. 3. 18) 和 (6. 3. 19) 得 到 


2 
mall = o(&). P-as., (6. 3. 24) 
以 及 
||nə,|| = O(n7$7*a,), P-a.s., (6. 3. 25) 


其 中 a > 0. 因此 有 


n 
lim ,| ————— = 0, P-a.s. 
noe V 2loglog n Mall Pak 
li 2 =0. P-as 
Jim, Plog log Pl = 0. P-a.s. 


由 命题 6. 3. 2, 得 到 


ime LP | ae 
lim sup, / on lve (Bsn — so) 
Ë 7 4 Tn(Bo) Tn (Bo) 
iene = cem To) y, Te 
inp Zloglogn e, (wis f Hin = 


Es Tn(Bo) 
n 


—Mn 一 Non) 


Yes) 
= lim sup KIT = yelW(o)e, P-a.s. 
上 式 证 明了 (6. 3. 3). 同 理 可 证 (6. 3. 4) 成 立 . 口 


命题 6.3.3 在 (L.1),(L.2),(L.3), (L.4), (L.5) 和 “对 所 有 的 i> 1 有 
0 < As € Zi2T 成 立 ” 的 条 件 下 ， 以 概率 1 有 


lim inf log 8 2 max 279 = = eTW (Bo)es , 
1<s<q. (6.3.26) 
XE 由 命题 6.3.2 的 证 明 , 得 到 
E(we(s)) = 0， liminf O 


n 
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因此 , 又 有 S2(s) t oo. 由 上 述 事实 和 (6. 3. 14)， 得 到 
max E(w;(s)) log log S2(s) m 
Sa(s) I 
注意 到 
E(w?(s)) =e! W(Bo)(2Z:Hi(Bo) £7 ! (Bo) HF (80)Z7 )W (Bo)Te., 
根据 (L. 2), (6.3.2) 以 及 条 件 0 < As < 2;2T, i > 1, 我 们 能 够 看 到 
inf E(w?(s)) > 0. 


由 上 述 事实 和 (6. 3. wa{ vio) TENT 是 一 致 可 积 的 
Elw2(s)] 
由 引 理 4. 3. 2, 得 到 


T loglog S2(s) 
a = = liminf TOSS. max | Ya 


L tim inf, [BIB neTW(Bo) (As /n)W(foes jh 
-imar 7 E est) 


ne} W(Bo)(A, /n)W (Bo)e. 


f Joglogn 
= = iman nelW (Boe. 过 党 gle s)|: 
从 而 结果 得 到 证 明 . 
定理 6.3. 2 的 证 明 ”首先 , 由 (6. 3. 20) 观察 到 , 对 于 1 < s < q, 有 
Bai — Ban = el (Ww (Bo) - 2 ilo) = n =o) - g, 00) =mi -) 
i2l (6. 3. 27) 
根据 (6. 3. 14) 和 Kolmogorov 强大 数 定律 , 对 于 1 < s <q RUE 


1 T ic : 
3e: W(Bo)T:(Bo) = i22 —0, Pas. — (6.3.28) 
又 由 (6. 3. 28) 41, 存在 常数 My > 0 使 得 几乎 处 处 有 
;eTW(B)T(B)| < Mh, 对 所 有 的 ;> 1 1<s S 4. 
又 由 (6.3.22) 和 (6.3.23) 知 ， 存 在 常数 Mo. M3 > 0 使 得 对 所 有 的 
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i> 1 几乎 处 处 有 
lerHuT(B0)| < Mz, ze Hiri(fo)| < Ms. 
又 根据 (6. 3. 24) 知 , 存在 常数 Ma > 0 使 得 对 所 有 i > 1, 以 概率 1 有 
limi] € My (log i)? 
成 立 , 再 由 (6. 3. 25) 知 , 存在 常数 Ms > 0, 对 所 有 i > 1, 使 得 几乎 处 处 有 
Ninzill < Ms i2~* log i. 


iü M = max(Mi, M2, Ms, Ma, Ms). & m(n) = 一. 显而易见 ， 
(log log n) 4 
对 任意 的 = > 0, 存在 N(s) 使 得 当 n > N (e) Pf, 有 
1 (logn)? £ (loglogn)? 1 
max{ E} < 5 — £ Era 
(log n)2(loglogn)? | 1 
ni <M 
不 失 一 般 性 , 假设 m(N(e)) > 6 使 得 PELET 在 区 间 [m(N(e)), 00) 上 


是 下 降 的 . 从 而 发 现 , 对 任意 的 = > 0, = n > N(e), 1 < i< m(n) 时， 
几乎 处 处 有 


Jo£log" | 
n 


= PEREP ler (WBT (Bo) — Bs) - B9) 


-imi- inzi)| 


«iy PERE. Ier (wpon (po)| + |e? To) 
+ [peT H;,T, o|) + y Pekan (l ieTmi| + lie? nei )l) 


al an 
Š log š 
iin /EE max |i(Bs: 一 Bso)| = 0, P-a.s. (6.3.29) 
noe n 1<i<m(n) 
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再 根据 (6. 3. 24) 和 (6. 3. 25) ， 得 到 
lim = O(a?), llinaill = O(i5-7a;). 
Hp a> 0. 进而 发 现 ,对 任意 的 = > 0, 34 n > N(e). m(n) < í < n Bf, 


几乎 处 处 有 
log logn. loglogi,. 
V 752E" lim, « / 2878 * limi < e, 
以 及 
loglogn,. loglogi,. 
V 7528" im <P l| < e. 
因此 , 有 
gg, EER iii limill =0, P-as, (6. 3. 30) 
noc n m(n)<isn 
以 及 
lim loglogn max |linzill = 0, P-a.s. (6. 3. 31) 
nec n m()<i<n 
因为 Hin = W(Bo) — nA;! = o((loglogn)-!), 由 命题 6.3.2 有 
log log n 


max le! HT, (Bo)| 


n m(n)<i<n 


log | 
= 2T max [eT Hi W (Bo) W (Bo)T:(Bo)| 
n m(n)<i<n 
< loglogn max 2i log log i e! H: W (Bo) 
8 log? je, 0 


n m(n)<i<n 


1 js 
espanol) 
< max (lbglogd|e"EuW(A)"'| 
V2q max 


m(n)<i<n 
1 i 
min)&i«n y 2i log logi 12524 Zer (s) 
E 1 T 
<, max. o1) Va (eT W (Bole, + c) 


—0 (n> e). (6. 3. 32) 
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类 似 地 , 根据 (6. 3. 21) 和 命题 6. 3. 2, 得 到 


loglogn max lez. H2;T;(Bo)| > 0, 34 n 一 oct. (6. 3. 33) 


n m(n)<i<n 


Jt, 又 根据 (6. 3.27), (6. 3. 29) ~ (6. 3. 33) 和 命题 6. 3.3, 有 
fe log log n ME. 
lim infy = max (|ó, —Bso|} 
= liminf\/ loglogn , max (i 
n= n m(n)<i<n 


DH 


Bsi — B.o|) 


m. log log n T 
et f ==. w 
imin ear". a le? (W(Bo)Ti(Bo) — HuT, (Po) 
— Hy,T,(Bo) — imi — imi)| 
A loglogn T 
zl ———. a i — Hii 
in ` (es les WTB) — HuT(Éo)| 
= lim inf. loglogn max |e. 
n= n m(n<i<n 


m log log n " 

= liminfy - oe max les W (Bo) T;(Bo)| 
A log log 

= lim nt y 2 == Sa 


2 = eTW (Bo)es. (6. 3. 34) 
这 样 就 完成 了 定理 的 证 明 . 口 


附注 6.3.2 的 证 明 ”首先 , 注意 到 , 如 果 有 lim a; 0805, 20 
成 立 ,那么 


lininf max aba = lim a;- liminf max bin, (6.3.35) 
n> m(n)<i<n ioo nœ m(n)<i<n 


其 中 m(n) = > 00. 
(log log n)@ 
在 定理 6.3.2 中 , 4 q = 1 Bf, 就 有 


W (Bo)T:(Bo) = > ww 
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以 及 


eIHiTi(Bo) = Hi;iW(6o) !W(Bo)T;(Bo) = ó; Ser 
ka 


x98 5, = HuW(Bo)-! — 0, i oo. 从而, 根据 (6. 3. 34) (此 式 成 立 不 
需要 条 件 W(Bo) — nA; = o((loglog n)-) 被 满足 ), (6. 3. 35) 和 命题 
6.3.3, 有 


. ¢ [log lo jJ 
lim iuf DEM ` max x {iB — Bol} 
nox 
lo m 
= lim inf J ——77— ETEN max 
m(n)<i<n 
— 
= li: inf J ———— Hs -ő > 
imin E. 一 Wk i Wk 


= lim inf max |1— 4| TTL 54 


一 ec m(n)<i<n n 
m(n)<i<n ui 


" TE loglogn 
= 1 1—6;| +1 f1/j——— w 
lim | | imin y x mda ler (Bo)T,(Bo)| 


eT (W (Bo)T:(Bo) — Hi;T;(89))| 


loglogn Dg n 


= = lim; inf -m zd Ya 
= e1W(Bo)es 
这 就 完成 了 证 明 . 口 


6.4 自 适应 拟 似 然 估 计 


6.4.1 自 适应 拟 似 然 估 计 的 概念 
假设 
yi —g(zlBo)s. 1<i<n, 


其 中 y; € R AMAR Y 的 观测 值 ，z; e R 为 已 知 的 常 向 量 ，po 为 未 
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知 参数 B e R< 的 真 值 . 

又 假定 (z,) 满足 以 下 条 件 : 

G) (zx, i> 1} AR. 

Gi) 存在 常数 aco > 0, 使 得 对 任意 n, 2438 pi = ui(Bo) = 
g(z]Bo) 1 < i < n 按 顺 序 排列 为 pi < jn.2 <… < alil, A 


[71 : C2 
— € min -1 — Mai) € max (Hn — hh < 一 . 
25 duin una hai) € A.U itt Mi) € — 


c; 是 随机 误差 , 假定 : 
Gii) Ee; —0, e; 的 方差 是 m 的 函数 : Var(si) = o(ui), à > 1. 
对 某 自然 数 " > 3, 有 sup Eedr+2 < oc. 
这 1 


= (8: ||B — Poll < ó), 5 > 0 为 某 常数 .又 记 

u= inffzT8: i>1, BES}, B=sup(zT8: i> 1. BES}. 
对 函数 / Alo 作 下 述 光 滑 性 要 求 : 

(iv) 对 某 个 < > 0, g 定义 于 [A. B] = [u — 5i e]-E, 且 其 三 阶 
SRG T [4, B] 上 处 处 存在 且 有 界 , ifi ġ E [4, B] 上 处 处 不 为 0. o 定 
MF [9(A). (B)] 上 ， 且 有 非 零下 界 以 及 有 有 界 的 二 阶 导数 . 

(v) “n> co Bf, 一 FE OTe)? o^ (u;)riz] > E > 0. 

若 方差 函数 o (t) 已 知 , 则 引进 拟 似 然 函 数 

Q(B) = Q(&. y) = È "n ER (6.4.1) 


其 中 y = (n. ys ,yn), mB) = na X (6.4. DKF B 取 偏 导 
数 有 


bs 


U(B) = -Ezi (z? B)o  (ui(8)) (vi — 1:(B)). (6. 4.2) 


称 方程 
U(B) =0 (6.4.3) 
为 拟 似 然 方程 . 方程 (6. 4. 3) 的 根 记 为 n BARAMA Et. 在 条 件 
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G) — (o) F, 可 以 证 明 : 
ViilB, — Bo) 5 N(0, E>"). (6. 4. 4) 
当 o(t) 未 知 时 , 用 权 函数 对 它 作 估 计 , 方法 如 下 暂 设 po 已 知 , 则 


1<i<n. 令 
onlu) = > Wnilu)e?, (6.4.5) 


以 此 作为 o(u) 的 估计 , 而 


W,i(u) = + K(# _ j A,ə(u) — (mi — u)Am(u). (6.4.6) 


b, An(u) 
其 中 ， 
Anj(u) = = F, k(E— N (u = u), (6.4.7) 
ae n . 4. 


An(u) = Ano(u) Aus (u) — A2; (u). 
K 为 核 函 数 ,满足 条 件 : 
(vi) 天 为 及 上 处 处 连续 的 偶 函 数 , 在 (1,1) 内 大 于 0, 在 其 外 为 
0. 其 二 阶 导数 K fE R 上 每 一 点 存在 且 有 界 . 
bn 为 窗 宽 , 满足 条 件 : 


ñ A nbi e 
(vii) b, — 0, n"7?br*! 一 oo, i 2- — oo, b, = o(n TH), r>3 


log n 
为 自然 数 . 
注意 到 Wulu) 与 Bo AK. 若 把 Bo 换 成 Y， 相 应 地 W, (u) 中 的 
hi A mily) = gel y), WU (6. 4. 5) 中 的 on(u) 也 跟着 改变 . 此 外 on(u) 
还 与 样本 y™ = (uos yn) AK, HD on(u) = o, (Bo. y. u). 以 下 
把 Bo 换 成 Y 后 ，(6. 4. 5) 中 的 onlu) 记 为 os (y y 7, u). 因 Bo AF, 故 
on(u) 不 能 取代 (6. 4. 1) 中 的 o (u) 去 定义 似 然 函 数 . 为 克服 这 个 困难 , 先 
依 某 种 方法 得 到 po 的 一 个 估计 B,, H B, 取代 os (Bo. y. u) 中 的 Bo, 
得 到 o(u) 的 一 个 真正 估计 
ôn (u) = e, (B, y"), u). (6.4.8) 
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FA ôn (t) WAR (6. 4. 1) PHJ on (t), 得 到 一 个 拟 似 然 函 数 
Pi oe S. wt 2 w yt ! "m 
Verr ECL me 4d 
及 相应 的 拟 似 然 方程 
S = Yni(z78)o; (B... p(B)) (vi — (0) 


i=1 


=0. (6.4.10) 
车 把 B, 记 为 Bry, (6.4.10) 的 解 记 为 Pro 得 到 Bs, 后 , 用 之 取代 
(6.4.8) 一 ( 6.4.10) 中 的 B, 又 得 到 (6. 4. 10) 的 解 ， 记 为 8*。， 如 此 循 
环 下 去 ， 就 是 一 个 迭代 关系 : 
D rila Br on! (BY M. 87,4) (ys — ni(B7,4)) = 0 


i=l 


kz12,-. (6. 4. 11) 
我 们 称 Bhi Bro 为 参数 Bo 的 自 适应 拟 似 然 估 计 . 
对 于 参数 Bo 的 自 适应 拟 似 然 估 计 B2,B*2,…'， 有 下 述 性 质 : 


定理 6.4.1 假定 条 件 (i) ~ (vii) 成 立 ， 若 得 到 Bo 的 某 个 估计 量 
[E B, 满足 条 件 : 
(viii) Á, — Bo =O,(n-2). 
从 Bro 出 发 ， 按 前 述 方法 得 到 B7 B7, VX Br = Bry, (对 某 
个 指定 的 自然 数 丰 )， 则 当 — co 时 有 
P(B; 存在 } + 1, (6.4. 12) 
Vn(B, — Bo) 5 N(0, p—1), (6.4.13) 
史 的 定义 见 条 件 (v). (6.4.13) 的 E- 达到 了 渐 近 方差 的 下 界 . 


6.4.2 若干 引 理 


为 了 叙述 的 方便 ,我们 先 引 进 一 些 记号 . 
uily) = g(zTq) ni = nim). 
WR Wyi(u), An; (u), An(u) 中 以 7 取代 Bo, 即 用 p(y) 取代 相应 的 pis 
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取代 后 的 符号 记 为 W, (y. u), Anly- u), Anly u). BR f 依赖 于 4 和 
yy, JU I^, fn... FO 38 f wa SSR m f x y 的 各 阶 导 数 记 为 
po, vp Uf do =I 
E» ' 3037 Ë Mili a fs 3d usi, Dan] = Jas 

|F(t.n)|, = sup (|f(t.n)| : te T). 
4 f(t.n) ER, | f(t.n)| A | (s.n) ||. 


38 6.4.1 4G) (iii) ZF, 4 


165 fr: In-Bol h 
C > 0 为 某 个 常数 ， 则 
Q) [W()(y.u)|, = Oniz), r =0,1,2: 
(2) [WO yu) - WO (u)|, = O(n75072-7), = 0,1,2 
(3) |WO(y,u)|, = O(n 52-7), r= 0,15 


Walt pope gy 
Ho 的 任 一 元 , 则 


lasiv. u)|, =O ((nb3)- 1), 


(4) Wani(y,u) 3& Wyi(y,u) = Tee 


5132 6.4.2 设 随机 变量 0,6 MARKS, Ee = 0, i > 1, 且 存在 
Qa>2 使 得 sup Ble < oc. Xit {bn} 为 一 串 常数 ， 对 某 常数 > 0, 
A dy > nw" Bb, 0. dk 

[Un,: 1<i<n, 1<l <M, =O(n™), m» 0) 
为 定义 于 区 间 J, E69 — EAR, .之 长 等 于 O(n"), h > 0 为 某 常 
数 . {fn} 满足 条 件 : 
0) |f,.(u)|, = O((nb,,) 1); 
(2 € dulu) fo (u). 1X i € n 中 不 为 0 的 个 数 , 有 
|dnt(u)|, = O(nb,): 
(3) fi, (a) £ J, EREE, 且 存 在 常数 大 使 得 
|. (4)|, = O(n"). 


136 


第 6 章 ， 非 自然 联系 情形 下 广义 线性 模型 的 拟 极 大 似 然 估计 


Hale) = Y (e, Sur = sup lmt), & = nex Sur 则 有 


& = 0( log 7), as. (6.4.14) 


nb, 


引 理 6.4.3 &##()—(Vviii) F, ue I, ye S, C &n XX, 则 


logn 
nb, 


1 
+b + =) as. (6.4.15) 


[ontra a.u) ~ on(u)], = O( A 


以 及 


je (v. = of (u)|, = o(y* E T P + bn + 高 ) as. (6. 4. 16) 


比较 (6. 4. 15) 和 (6. 4. 16) 的 右边 , 可 以 看 出 “对 xn” 求 导 一 次 , 数 
量 级 增加 一 个 o! 因子 . 


引 理 6.4.4 RHG) (viii) T, uel, YES, C 5nXX, M 
lé Qr. y. u)| = O(1) a.s., 
Jo, 
HG, = —. 
6, E 


5886.45 i(f:1ci <n} IAEA, 7 € S, 7 为 自然 数 ， 令 


Anrly) = 3 f, (es (n.u). Hi) — oa (i)) eim yi no 


i=l 
UA eG) m (viii) 下 , 有 
|4w(?)|。= sup |A,,,(7)| = Op( Vni). (6.4.17) 
VESn 


引 理 6. 4.6 定义 方 阵 
(B) = X 9 (278)) 07 (ui(B)) xia? 


i=1 
+> [GT (uÀ(0))o' (wil) 
i=1 


- 9" (#1 B)o-*(1u(B)) zz? (yi — (0), (6.4.18) 
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Æg) ~ (viii) T, Š n — co 时 ， 有 


nu — 加 ， 依 概率 对 BCS, 一 致 成 立 ， — (6419 


注意 到 "a Bo AR. 
引 理 6.4.7 £ (6. 4. 18) 的 右边 以 os (y y ui (B) 取代 o (ui (B)), 
其 余 不 变 ， 结 果 记 为 I5(y. B. y) = I5 (y. B), RR REG) (viii) 
T, 3# n 一 oo 时 ,有 
IP) _, p dst ye S, de Be S, 一 致 成 立 ，(6.4 20) 


引 理 6.4.8 ik 


n 


UB) = Y5 (ui — ni) ETB) (v. ui (B))zi, w € Sn 


i=l 
AA U* (y) = U*(y.Bo), WIESE G) ~ (viii) T, 有 
sup |U*(y) m U* (Bo)| = oy( vn). (6.4.21) 
Eon 


引 理 6.4.9 &##()—(viii)T, 有 
|U(Bo)| = (Vm), [UM]. = oy( V). 
引 理 6. 4. 1~ 3] E 6. 4. 9 的 证 明 见 文献 [17] . 
6.4.3 定理 6.4.1 的 证 明 
考虑 (6.4.9). 给 定 so > 0,， 由 条 件 (viii) 知 ,存在 充分 大 的 常数 
C > 0, 使 得 P(B, € Sn} > 1 — e0. Ul S, id S, 的 边界 ,以 SO 记 S, 的 
内 部 . 取 Be Sn 有 
Q"(B) — Q* (Bo) = (B — Bo)! U*(B,) 
1 
- 30 - 59? [ 128, Bo (8 — Bu))aw (8 — Bo) 
= Jm — Jo2; 
此 处 D; 的 定义 见 引 理 6.4. 7. 由 引 理 6. 4. 7 Al, 4 RAAK, 以 任意 
接近 于 1 的 概率 有 
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1 一 = 
in {Xn (2 f 5,0 + (8 ~ Bo))av) : 8€ S.) 
0 
> Ao = 5Amin(7) > 0. 
由 上 式 知 ， 当 1 充分 大 时 ， 以 任意 接近 于 1 的 概率 有 
Jm > jac. 
另 一 方面， 由 引 理 6.4.9 知 , 4 n 充分 大 时 ， 以 任意 接近 于 1 的 概率 有 
Ja € MC, 


这 里 M 与 C 无 关 . 在 S, 的 定义 中 取 C > A 则 有 


sup (Q*(8) — Q* (Bo) : B E€ Sn} < MC — SAC? <0, 
因而 Q* 在 Sn 内 部 某 点 B5, 处 有 一 局 部 极 大 值 点 , 此 点 满足 
U* (Bn, Br) = 0. 
HF B; € So. #f B5, — Bo = O,(n~2). 
现 以 记 , 记 方程 U(B) = 0 的 根 , 有 
vn(B, — Bo) 5 N(0. 21). (6. 4. 22) 
由 引 理 6. 4. 6 有 
U(Bo) = U (Bo) - U(B,,) 
= [145 B, - 89): By - 89 


= n(Z  oy(1))(B, — Bo). 


B, — Bo = ^ (E + o,(1)) !U(Bo). (6. 4. 23) 
同 理 , h U*(85,) = 0 DUE Bs, — By = o (7). 据 引 理 6.4.7 有 


1 < «d 
Ba ~Bo=( | 208,0 5, ~Bo))av) Ut) 
=n (E£ +o;(1)) ! U* (Bo), 
Hi EUR (6. 4.23) 有 
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Bi, - B, = n7 (E +o(1)) (U* (80) — U(9)) 
La (e +o) '- (B+ op(1)) *) U(Bo) 
= Ja) + In2(-)- 
AO > 0, X858 6.4.8 知 /n(6;, — B,) = o,( n), EEE 
Ina (+) = oy(n7), 
再 由 引 理 6. 4.9 41 J, (:) = o)(n71/2). 于 是 有 


vn(Bz, — Ên) = o,(1). (6. 4. 24) 
结合 (6. 4. 22) 55 (6. 4. 24) 有 
Vn(B5, — Bo) $ N(0, 5-1). (6. 4. 25) 


由 (6. 4. 25) 知 Bs, 满足 (viii) 的 条 件 . 重复 上 述 过 程 , 可 得 
Vn (B; — Bo)  N(0, p-1). 

以 此 类 推 ， 对 任意 的 自然 数 k, IEW T (6. 4. 12) 53 (6. 4. 13), 其 中 Bs 

换 为 BY... 从 而 定理 6. 4. 1 得 证 . 
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5735 
独立 不 同 分 布 情形 的 极 大 似 然 估 
计 的 中 偏差 


令 (Xi, k > 1) 是 一 个 独立 不 必 同 分 布 的 随机 变量 序列 ， 且 在 空间 
R (q > 1) 中 取 值 ， 同 时 具有 分 布 函数 F.(z;0), 其 中 9€ O, 而 且 参 数 
空间 9 c R. 本 章 内 容 所 考虑 的 情形 包含 了 许多 统计 模型 ， 例 如 广义 线 
性 模型 ( 见 文献 [54]) 以 及 带 有 不 完全 信息 的 随机 截 尾 的 模型 ( 见 文献 
[25]). 9 的 极 大 似 然 估计 (MLE) 被 记 为 

Ôn = 0,(Xi,Xs,:-- Xn). 

BAKUA 0, 的 强 相合 性 于 1976 年 为 文献 [13] 所 研究 ,其 渐 近 正 
态 性 于 1971 年 为 Hoadleyl39 所 研究 . 对 于 独立 同 分 布 情形 的 极 大 似 然 
估计 Ôn 的 中 偏差 原则 于 2001 年 为 高 付 清 B9 所 研究 . 本 章 我 们 将 讨论 独 
立 不 必 同 分 布 情形 下 的 极 大 似 然 估计 6,, 的 中 偏差 原则 . 这 里 的 结果 是 
文献 [30] 结果 的 一 个 推广 ,同时 我 们 将 利用 这 个 结果 来 研究 带 有 不 完 
全 信息 随机 截 尾 模型 的 参数 的 极 大 似 然 估 计 的 中 偏差 . 


7.1 记号 与 准备 


假设 参数 空间 Od R 的 一 个 开 子 区 间 ， 而 且 X 的 分 布 函数 满足 
dF,(z:0) = fs(z:0)da. k=1,2,--+, 
这 里 是 一 个 o -有 限 测度 , / 具有 下 面 的 形式 之 一 : 
(1) /是 Lebesgue WE, du = dz, 如 果 每 个 X 都 是 连续 型 随机 
141 


缺失 数据 下 的 广义 线性 模型 


变量 ; 
(2 uaj} 21, j 2 1.2.…， IRAE X, 都 是 离散 型 随机 变量 ， 
HEHE (aj, j= 1.2.…} 上 取 值 . 
进一步 , 假设 每 个 f(z:0) 关于 9 是 连续 3 阶 可 微 的 . + 
(An), n > 1) 是 一 个 非 负 的 数列 ， 且 满足 
A(n) 一 +00, A) 一 0 (n +00). 


Vi 
4 Ti (z:0) = log fy(z:0), 


l(zi,z25.:--.m,4:0) = log [T (z: 0) = U Tala: 0), 
k=1 


k=1 
以 及 
IO (z).25,--- ,2n:0) = LN e E80) 
2. n6) = gg 2,7** sni 


n > 1, (21.22, ,2,) € (R2)". 


再 假设 Po 是 对 应 于 TT fa (wa: 9)w(dzx) 的 概率 测度 ， 且 极 大 似 然 估 


k=1 
YF 0, (21.25. ,zn) 是 下 面 似 然 方程 的 一 个 解 : 
I (zi 22, --.m,4:0) = 0. 
本 章 只 详细 地 讨论 连续 型 的 情形 . 离散 型 的 情形 可 以 类 似 地 讨论 . 

为 了 记号 的 简便 , > 

Ön = 0,(zi.zə,---..z,) = sup(0 € O : lU (zio, -- 24:0) > 0}, 
以 及 

On = 0,(zi.zə.--- En) = inf{0 € O : I (mi o.---,2,:0) € 0). 
立刻 可 以 得 到 下 式 成 立 : 


B, (zi. 2.7 mu) < Ó (mi z2. ,Tn) € On (mi moss sth 
(7.1.1) 
Po(8, > 0 +e} < Po(I?(X 1. X2, Xn 0 +e) 20) 
< Po(0, > 0 + e). (7.1.2) 
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Po{0, <0— =) < Po(IO (X1, X5. .X,:0— E) < 0} 
< Po(0, < 0 — se}. (7.3,3) 
本 章 的 主要 结果 需要 下 面 的 条 件 : 
(M.1) 对 每 个 9€ 0, 下 面 的 导数 


_ O' log fx (z: 0) 
EN oo 


TË (2:0) 
对 一 切 z € RY 存在 . 


(M.2) 对 每 个 € O, 存在 0 的 一 个 邻 域 N(9.6) (ó > 0) 以 及 非 负 
可 测 函 数 4ik(z; 0). 守 = 1.2.3, k —1.2.--., 使 得 


)i-L23,k-12,.- 


人 Aü(z: 0) fi (z; 0)dz < +00, 
m 
以 及 
[r()(z:9)| < Au(z:0), Vy € N(0.6). 


(4.3) 对 每 个 e O, k > 1. Fi(z;0) 有 一 个 有 限 的 Fisher 信息 量 ， 
即 


» 2 
0« 1,0) = Eo (PERKE «+o. 
(M. 4) 对 每 个 9€ O, FFE u = ul) > 0 AR v = v(0) > 0 使 得 


sup sup óx(t. 0,7) < +00, 
k21 (te)e[-n.u]x [v.v] 
这 里 p(t.0,e) = Ej (exp (tT (XO + 3J). kz12-. 
(M. 5) 对 每 个 > 1, (21,22, En) € (R?)", WRT 
I (1,25, 4:0) 20 
有 唯一 解 . 
(M.1) VOEO, 存在 5 > 0 使 得 sup ETO (X: 0)|'*° < +00. 


(4.2) YOE 0, In > 0 (8 supE (Au(X,:0))*1” < oo, 以 及 
人 >1 
sup Eo (Agx(X4:8)) 1” < oc. 
k>1 
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(43) voco, 存在 一 个 函数 10) 使 得 当 noo 时 ， 
wait 
0 « I(0) < oc, BEIM — I(0) - 
附注 7.1.1 £ (X,. k > 1) 独立 同 分 布 的 场合 ，(M. 1) 一 M. 5) 是 


文献 [30] 的 假设 ， 而 且 在 {Xi, k > 1) 独立 同 分 布 的 场合 ，(M. 3) 自然 
就 成 立 . 


7.2 ”独立 不 同 分 布 情形 下 极 大 似 然 估计 的 中 偏差 


我 们 首先 给 出 下 面 的 引 理 , 这 些 引 理 将 在 证 明 本 章 的 主要 结果 时 被 
应 用 . 
引 理 7.2.1 在 条 件 (M. 1)，(M. 2) 和 (M.3) 下 ,对 所 有 的 大 > 1, 有 
Eo (T5) (X4:6)) = 0， 
以 及 
Eo (TP (X1:0)) = -Eo (T (X1:60)) = —1(0). 


证 由 控制 收敛 定理 易 知 此 引 理 的 结论 . 


引 理 7.2.2. ”如果 随机 变量 GY k > 1 MAAE, 而 且 常 数 序 列 
b, t oo 使 得 


证 这 个 引 理 是 [48] 中 的 推论 2. 口 


3138 7.2.3. 在 条 件 (M.1), (M.2), (M.3), 0.2) (4.3) T, 有 
(i) Vm» 1, V0 € O, 3 n — oo 8, 
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m+n 
X TP 060) > 0. Pe-a.s.; 


k=m 


1 


n 
Gi) Vm > 1, VOE O # Vr e€ RY, 


G,(z) = ZR Y TMX:0) < 2 + #(zI(0)) (n — 2), 


k=m 


这 里 D(-) 是 标准 正 态 分 布 的 分 布 函数 ; 


Hi Sp. Dani] gs Slee, 二 一 和 
(ii) Vt» 0, 4 p, = [Pnt] q, = [Z]. Eu 那么 
pn 
pn 
nO) > A3,k+ipn(Xk+jpni9) — 0, Po-a.s., 
3 n — co, j = 0.1,-: BF, (7.2.1) 
以 及 
r o£ 
= DO AxQG06) — 0. Peas, S n — co 8. (7.2.2) 
k=pnqn+1 


证 AE k A TO (X0) 代替 引 理 7. 2. 2 rff] b, AG, 由 引 理 
7.2.2 立刻 得 到 


1 
RT tuo) => 0, Peas, 4 n — oo Bf. 


jak r HIR Y fir (i). 
再 根据 条 件 M. 3°) 和 Lindeberg-Feller 中 心 极限 定理 ， 就 得 到 命题 
(ii). 


又 根据 条 件 (M. 2) 和 引 理 1.3.8, 同时 注意 到 事实 : — X 20H 


TP 0 (n > 00), 就 获得 了 命题 ( iii). 口 


引 理 7.2.4 在 条 件 (M.1), (4.2), (4.3), 0.1) 48 0. 3) T, 有 
mn 
> TO) (X 4:0) — — [(0). Peas, 4 n — oo 时. 


k=m 


证 根据 本 引 理 的 条 件 和 引 理 1. 3. 8 有 


1 


n 
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1 re 2 
aD (TO 00:0) - EeT (4:0) — 0, Peas. 


k=1 


进一步 , 由 引 理 7. 2. 1 和 条 件 (C. 3), 又 得 到 
LS) y.. = 
225 (X4:0) > —I(8). 


从 而 , ti Vm > 1, 
1 Ur > - —I(0), Pg-a.s, H n — oo Rif. 
k=m 


下 节 将 给 出 极 大 似 然 估计 Ôn 的 中 偏差 结果 及 其 证 明 . 


7.3 极 大 似 然 估 计 的 中 偏差 


定理 7.3.1 (i) 假设 条 件 (M.1), (4.2), (4.3), (M. 1), (M. 2°) fe (M. 3°) 
成 立 ， 那 么 对 任意 的 = > 0, 
n) 


NIME m 1 
lim inf i; log Po(A(n)(8, — 0) > e} 2-510)", 


以 及 


tim int) tog Py {A(n) By — 6) < ~e} > -1r(0)Ə. 
nto n 8 OUR eal bad 


Gi) MGR FD, (M2), (0.3), (4.5), (4.1), (M. 2") 和 
(M. 3°) 成立， 那么 对 任意 的 = > 0, 


lim inf — Ain) log Po{A(n)lĝn — 0| > £} > -31( (0)e?. 
证 显然 有 
Po{A(n) (En — 0) > =) > eX (x. 0+ xs án) > 路 
k=1 


为 了 记号 的 简便 , 记 
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TV(0) = TO 0), 
4ak(b) = As (X4:0). 
在 本 章 后 面 的 部 分 , 也 将 沿用 这 些 记 号 . vn > 0, 


e [Y (oe 0+ 39) 20] 
TU (0+ 555) rat i a 


EN | S Mte deus] 


k=pngn+1 


ol (x) > rant} 
j=0 k= 
-Pef | A To+ xl sx) (7.3.2) 


k=psqa 
这 里 ， 最 后 一 个 等 式 是 由 {XX。, n > 1) 的 相互 独立 性 得 到 的 . TD) 
在 邻 域 N (0.6) 的 Taylor 展开 式 得 到 
IRP -TPO = 0- DTP O] < 56 — 02 Ase). 


从 而 , 对 任何 m > 1. 1> 1, 有 


ml ay ml a) mel 
EXE » EE (2) 
En (e+ 元 3) x=" O- in ol 


2 m4 


< Tag 2 4»(9- 
k=m 


12138 7. 2. 4， 可 以 得 到 


1 -. 2 
š > OP) 0, Peas. (7.3.3) 
k=pngn41 
ERD MRA n- prin < X (n), UB n — +00 Bf, n — piqa > 0, 


AO) Pah O, 又 由 中 心 极限 定理 知 


n 
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M È els 22) 


一 pngm 十 1 


n) 
"^m | PE ‘as VES! 


—1, 
n 


这 里 B,(9) = Y; (9). 因此 , 由 (7.3.3) 和 引 理 7.2.3 (iii) 的 


k=pnqn+1 
(7. 2. 0， 得 到 
if X m+.) sms bon noon 
k=pnqnt1 
(7.3. 4) 


另 一 方面 ， 由 于 den , mA yr, DLR noc 时 ， 


d»; — 1, 再 由 引 理 T. 2. 3, 得 到 


n/ (n)? 
ZEE Y, > ) > ut} 


pn 


1 
id T (0) > n} 
Ç V Bi(0) £i Titi KET 


+1- (£), 


这 里 Bi (0) = Sl 0), co = T0). 进而 , 由 引 理 7. 2. 3 得 到 下 式 : 


k=1 


PAN — - 1(0), Po-a.s. (1.3.5) 


rn (nt — 
因此 , 通过 (7. 3. 5) 和 引 理 7. 2. 3 (iii) 的 (7. 2. 1)， 得 到 
Pn 
(1) E d TOA t(n + 1(0)s) 
rf Tr (o = x3) > rant} 一 工 一 (a=), 


4n>oolf. (7.3.6) 
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综合 (7. 3. 1), (0.3.2), (7. 3. 440 (7.3.6), 有 


(n) ven (Y riP(os xen) 2 o} 


P S 
lim inf. 
no m = 


> 5log ( (irte i »). 


8 


现在 , RAS 1 > 0 和 上 + 一 oo, 同时 运用 下 面 的 不 等 式 : 


1- 4(a) > ——————À Va»0, 


(a? + 1) 2x eT 
得 到 
imi a ven (ri ( x)? E -oe. 
这 样 就 证 明了 本 定理 的 命题 (i) 的 第 一 个 不 等 式 . 本 定理 的 命题 (i) 的 第 
二 个 不 等 式 用 上 述 相同 的 方法 可 以 得 证 . 本 定理 的 命题 (ii) 由 本 定理 的 
命题 (i) 的 两 个 不 等 式 得 到 . 这 样本 定理 就 被 证 明了 . n 


3738 7.3.2 (i) 假设 诸 条 件 (M. 1), (M.2), (M.3), (M. 4), (4.1), (M. 2°) 
Fo (M. 3°) Az, AZ need s>0, 有 


x 
lim sup 
n+ 


?) Nog Po{A(n)(8, — 0) > e) < -302. 


以 及 


lin sup (n 9) log Po{ Ain) Bn -0)<-e}< -30e. 


n—+> 
Gi) 假设 诸 条 件 (M.1), (M.2), (M.3), (M.4), (M.5), (4.1), 
(M.2) e (M. 3 成 立 ， 那 么 对 任意 的 = > 0， 有 


tim sup" f ? og Po N(n)ló, — 6] > =) < EL 


n—+o 


证 对 任何 上 > 0, 以 及 充分 大 的 n, 根据 本 定理 的 诸 条 件 ， 有 
P), — 0) > e) < Pol STO (4:04 5. 
»(An& —0) >e} < [x f(x xc) 2o) 
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SOHO XEMEN 
< E (soc PCS oe x0) }) 
-e(a capt” (450+ 505) }) 
«fest enne) 
se (ee) sog) 
1 


- IH (rs C9 eno) «o(s)). 


因此 , 对 任意 的 上 > 0, 


limsup 2t ) log Po{A(n)(8,, — 0) > €} 


mn 一 十 ce 


X(n) 1 
< lims ye] 
< lim ENS ^ i» toe { + Xn) 


n— +° 


(=m) 


. D) 1 (PI) 
= lim sup X { 3j (— - tel. (9) 


noe 


*o(ssc;)) 
ë lim sup > (0) (t = te). 


(Pam _ tel (0) 


从 而 
i 


lim sap? log Ps (A(n)(8&, — 0) > e) < (0. 


n—+> 


MERTKXSANOABÉ- rit. 本 定理 命题 (i) 中 的 第 二 个 
不 等 式 用 同样 的 方法 可 以 证 明 . 本 定理 命题 (ii) 立刻 由 本 定理 命题 (i) 
中 的 两 个 不 等 式 得 到 . 


定理 7.3.3 假设 条 件 (M.1), (M.2), (M.3), (M. 4), (M. 5), (M. 1°), (M. 25) 
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de 0.3) MZ, 且 定义 (zi 由 三 二 7(O)z2， 那 么 对 任意 的 亲子 集 
FCO, # 


; X(n) 
lim sup 


n++oo N 


log P (A(n)(&, — 0) € F) < -inf T(x:;0), 


而 且 对 任意 的 开 子 集 G c O, 
A?(n) 
n 
特别 ， 对 任意 的 = > 0, 

M(n) 


lim 
nc n 


lim inf 
n> +< 


log Po{ X(n)(6, — 0) € G) > 一 if T(x:0). 


logPo{ A(n)l6, — 0| > £} = -i1(0)e?. 


XE 这 个 结论 能 够 用 [30] 中 定理 3 的 证 明 方法 加 以 证 明 . 这 里 , OR 
去 其 证 明 过 程 . Oo 


7.4 不 完全 信息 随机 截 尾 广 义 线性 
模型 的 极 大 似 然 估计 的 中 偏差 


定义 {0, 1) 上 的 计数 测度 Y(.) : 7y({0}) = 1. {1} = 1. 
我 们 将 1.2 节 中 的 带 有 不 完全 信息 随机 截 尾 的 广义 线性 模型 〈 设 
q = DPH) (Zi. ar. ok) 看 做 本 章 的 X, 将 1.2 节 中 的 测度 六 xy x y 
做 本 章 的 测度 4, 0 1. 2 节 中 的 
(pi) f (2227 80] [0 — p) F(zi:zT8)gi(z)] 
+ [Fess] pge] T 


即 为 本 章 的 (n0), 2.1 节 中 的 7 A, (9) HOS AES L Y 1,0), 3.1 
k=1 


al (1-5!) 


节 中 的 Q^ (Bo) 即 为 本 章 中 的 T(00). 假设 


(C5) te exp lx J: vha} dG;(z) < oo, (7.4.1) 
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E ep [= 15 vhona} dGi(z) <>. — (7.4.2) 


我 们 现在 利用 本 章 的 结论 来 验证 一 维 的 单 参数 不 完全 信息 随机 截 尾 
的 广义 线性 模型 的 极 大 似 然 估计 满足 中 偏差 原理 . 
定理 7.4.1 4 (A(n), n > 1] 是 一 个 非 负 的 数列 ， 且 满足 和 (n) 一 +00, 
> 0 (n > +00). 假设 1.2 节 中 的 模型 的 未 知 参 数 月 为 一 维 的 ， 
且 该 模型 满足 3.1 节 申 的 条 件 (C1)，(C2")，(C3)，(C4) 和 (C5)， 则 
Ve»0, 有 


tim 2°) tog PIA, — Bol e) = —1(W(6)) 1, 


noc m 


这 里 W (o) t (C27) 所 述 . 


证 只 需 验证 定理 7.3.3 中 的 条 件 1), (4.2), 0.3), M. 4), 
(M.5), (M. 1), (M. 2) 和 (M. 3”) 成 立即 可 ,显然 命题 的 条 件 保 证 了 (M. 5)， 
(M. 3) jr. 为 了 阅读 的 方便 , 我 们 再 将 (3. 1. 11) "S, 
ee Aly (8) 

Tu(B) = 735 


n RN soph ? 
=. T; |0;0;Z; 一 Di i(1 — 5) —— vfi 
> [^ (iB) + ai( "ga; [nen y) 


ve 
+a- agaz, utin] 


= S zit(r:b). 
ici 
由 引 理 3. 1.2 知 (M. 1) XO; 由 引 理 3. 1. 4 知 (M. 2) 中 的 
J emnes < 十 oo 
成 立 ; 由 (3.1.15) 一 (3.1.18) 知 (M. 2) 中 的 
H Aoi (2:0) f, (z; 0)dz: < +oo 
R 


成 立 , 同时 也 使 (M. 3) 成 立 . 而 
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dy(z;z8) _ d^t(zT 8) 


dB ^ dF 
af Buld Auld 
-e je yf (ys zB)u( wf f(y; zB)n(dy) 
Flex) 
da ( f? vtza) 
š F(z; zB) 
= 3 
( Í vrom) 
Wem] (7.4.3) 


根据 Cauchy-Schwartz 不 等 式 有 
1v( 
E (z; EA < (f. fF (yi eB) ul af y My xB) ul dy)) 


+ blzp) Ie JG By (dy) 


cc 1 
<3( [ritu | ` rossi): 
+ (00) [7 runa) 


= W(x), (7.4.4) 
这 里 
到 "(2B) = s[e) +b(z8)) (b (x8) + 6b? (c8)b(rB) + 4b(z8) b (8) 


+ IÜ? (rp) +B (z0))] ° + (eo) (ËP (z0) + Bp). 


故 
dy(z; 
[I CA) e icf)dz < +00. 
类 似 地 ,对 
arez) f? {wp [^ tuzba 
dg F(zivB) 
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bp)( f urs) ( utis) 
rs f F(z: xB) E F (2:12) } 
(7.4.5) 
也 有 
[= |fel=inB)az < +00. 
从 而 知 (M. 2) 中 的 


| ^e 0)fx(z:0)dz < +00 


成 立 . 按照 (3. 1. 15) ~ (3. 1. 18), (7. 4. 4) AI (7. 4. 5) 的 计算 方法 可 以 看 
BY (M. 1), (M. 2°) 也 成 立 . 
再 注意 到 Vs € [~u u], 
Eexp (st(z:v8)) 


= Eexp [s [sz — (xp) 
Zi 
+= A p FH M nno) 


+ (oF ji 3 venio] 
Si x exp (sz( — b(24)))pG( f,(z)n(az) 
+ [ioo imme nf ` uhlu} 
- (L= p) GGG) 
«f { 一 szi(zp) + sz = f š: wf nan) 


: Fi(z)dG;(z) 
=@+@+@, 


QD < pexp (b(sz + xB) — b(x8) — sxrb(xB)} < oo, 
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由 (C5) 知 
@ < (1 - p) exp[-szi(z)) exp [s xul. w/o) aco 


« oo, 
1 


© < exp(-szb(zB)) exp [s ‘Fo [ wf unas) Jac) < cc， 


HANM. 4) 成 立 . 本 定理 得 证 . 
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